Скрытое пространство VAE

Предположим, у меня есть набор данных $D = \{a_1,a_2,a_3,…a_n\}$, на котором я обучаю базовый вариационный автокодировщик (VAE) (несколько полностью связанных слоев, разделенных нелинейностями). Имеет ли латентное пространство VAE координаты признаков для $a_1 + a_2$ и $a_1 – a_2$ (которые не входят в набор данных $D$)?

Это зависит. Пусть $X$ будет областью данных, т.е. $a_i\in X$. $D$ тогда является выборкой из $X$, следуя некоторому распределению $P$. Суть VAE заключается в том, чтобы моделировать это распределение данных таким образом, чтобы мы могли осуществлять выборку из него. Таким образом, некоторые части пространства данных $X$ будут хорошо смоделированы (где много примеров для обучения), а другие – плохо.

Таким образом, вопрос заключается в том, являются ли $a_i+a_j$ или $a_k – a_\ell$ “разумными” (т.е. не слишком низкой плотности от $P$) значениями. Конечно, поскольку кажется, что $X=\mathbb{R}^d$ в вашем случае, VAE не будет иметь проблем с кодированием или декодированием этих значений; проблема заключается в том, будут ли латентные кодировки полезными или разумными. Они не обязательно должны находиться в наборе данных, но не могут быть слишком далеки от него.
(Эта проблемная область называется адаптацией домена в общем). Другими словами, у него будут “координаты признаков” для $X$, являющегося неограниченным векторным пространством, но полезными или разумными они будут в зависимости от ситуации.

Например, предположим, что $X$ — это натуральные изображения, и все ваши $a_i$ — это изображения подсолнухов. Вы можете выполнять $a_\alpha + a_\beta = c$ в поксельном виде, но кодировка $c$ вряд ли будет иметь разумное латентное представление. Однако если $a_i$ это что-то вроде эмбеддинга из модели слов, тогда это может быть вполне нормально.

Обратите внимание, что часто хорошей идеей является оценка производительности реконструкции VAE на отложенной тестовой выборке (вне обучающих данных, но все еще из того же или похожего $P$).
Итак, я бы задал себе следующий вопрос: можно ли $a_i + a_j$ разумно считать частью тестовой выборки? Если да, то да, латентные эмбеддинги, вероятно, тоже будут приемлемыми.

Я думаю, вас интересует, учит ли модель распределения линейных комбинаций входных данных.
В специальном случае гауссовского латентного пространства, кодировщик оценивает среднее $\mu_1$, $\mu_2$ и дисперсию $\sigma_1^2$, $\sigma_2^2$ из $a_1$ и $a_2$. Затем мы осуществляем выборку из двух распределений $N(\mu_1, \sigma_1^2)$ и $N(\mu_2, \sigma_2^2)$.
Если $a_1$ и $a_2$ независимы, их сумма (разность) также нормально распределена, со средним, равным сумме (разности) их средних значений, и дисперсией, равной сумме дисперсий. Таким образом, в этом случае вы можете легко экстраполировать точки, представляющие линейные комбинации наблюдений, из параметров их распределений.
Если они независимы, их линейная комбинация по-прежнему нормально распределена, но вам нужно учитывать их ковариацию.
Учится ли VAE этим непосредственно из наблюдений? Не всегда верно.