Вопрос или проблема
В статье “Denoising Diffusion Probabilistic Models” (https://arxiv.org/abs/2006.11239) график искажения-скорости вычисляется, предполагая доступ к протоколу, который может передавать образцы $(x_T, … x_0)$. Это затем используется для построения Алгоритма 3 и Алгоритма 4 в статье, и утверждается, что уравнение 5 (приведенное ниже) дает общее количество переданных битов в среднем.
Мне не понятно, как это возможно?
например, если мы ограничимся только передачей $x_T$, и если $p(x_T)$ и $q(x_T|x_0)$ в точности равны (например, обе изотропные гауссианы), мы не можем отправить $D_{KL}(q(x_T|x_0) || p(x_T)) = 0$ бит для реконструкции $x_T$ на приемнике. Кажется, нам нужно отправить по меньшей мере $H(x_T)$ бит, где $H$ – это функция энтропии. Статья на Википедии о дивергенции Кульбака-Лейблера также, кажется, согласна с этой интерпретацией: https://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence#Introduction_and_context.
Если Алгоритм 3 и Алгоритм 4 просто пытаются отправить сообщение так, чтобы у приемника была случайная переменная $y_T$ такая, что $x_T$ и $y_T$ имеют точно такое же распределение, то это, кажется, возможно достичь с помощью $D_{KL}(q(x_T|x_0) || p(x_T))$ бит для первого шага. Однако, в этом случае, не разрушается ли логика на следующем шаге? т.е. $p(x_{T-1}|x_T)$ будет в общем случае сильно отличаться от $p(y_{T-1}|y_T)$.
Ответ или решение
Вопрос, который вы подняли, касается использования графиков «скорость-искажение» (rate-distortion plots) для оценки моделей денойзинга на основе диффузии, предложенных в статье о вероятностных моделях денойзинга диффузии (Denoising Diffusion Probabilistic Models) (ссылка: https://arxiv.org/abs/2006.11239). Этот аспект касается передачи информации и использования информационно-теоретического подхода для анализа качества реконструкции сигналов или изображений, подвергшихся шуму.
Теория
Предварительно следует пояснить ключевые понятия, связанные с этой проблемой. В теории информации, задача сжатия предполагает сохранение наибольшего количества значимой информации при минимизации количества бит, необходимых для передачи данных. Основными инструментами в этом процессе являются энтропия (H) и дивергенция Кульбака-Лейблера (KL).
-
Энтропия (H): Это мера неопределенности случайной величины. Чем больше энтропия, тем больше вариативности может проявить случайная величина.
-
Дивергенция Кульбака-Лейблера (KL): Это мера, показывающая, насколько одна вероятностная дистрибуция отличается от другой. Для двух плотностей распределения ( p(x) ) и ( q(x) ), дивергенция KL показывает, сколько «лишних» бит потребуется для кодирования данных, если будет использоваться неверная модель вероятности.
В контексте обсуждаемой статьи, дивергенция KL используется для вычисления количества бит, необходимых для передачи и восстановления состояния системы на разных временных отсчетах в процессе денойзинга.
Пример
При рассмотрении простейшего случая, представьте себе передачу образца шума ( x_T ). Если распределения ( p(x_T) ) и ( q(x_T|x_0) ) идентичны (например, оба являются изотропными гауссовскими распределениями), то дивергенция KL между этими распределениями будет равна нулю. Это означает, что нет необходимости передавать дополнительные биты для включения информации о распределении данных, что, на первый взгляд, кажется противоречивым.
Согласно статье и продолжая с примером, важным моментом является фокус не на конкретной передаче значений, но на минимизации дополнительной информации, необходимой для восстановления данных до состояния ( x_0 ). В этом контексте, хотя для восстановления самого ( x_T ) требуется количество бит ( H(x_T) ), в модели денойзинга учитывается снижение избыточной информации.
Применение
При реализации алгоритмов, представленных как Algorithm3 и Algorithm4 в статье, используется подход последовательной передачи информации. Основная идея состоит в поэтапной передаче данных от состояния с высоким шумом к состоянию без шума. Каждый шаг передачи требует оценки количества необходимых бит, следя за направление передачи от ( xT ) через ( x{T-1}, x_{T-2} ) и т.д., до достижения ( x_0 ).
Применительно к вашим сомнениям по поводу распределений ( p(x_{T-1}|xT) ) и ( p(y{T-1}|y_T) ), действительно, возможны расхождения в распределениях. В этом ключе вся работа алгоритмов заключается в паре измерении изменения информации в каждом шаге (уровень искажения), чтобы минимально необходимыми шагами приблизиться к истинным данным без шума.
Таким образом, графики «скорость-искажение», наряду с алгоритмами, демонстрируют, как оптимизировать процесс восстановления, минимизируя количество бит, необходимое для передачи во время шагов обработки. Это и является основной целью моделей денойзинга на основе диффузии — восстановить данные с минимальными информационными потерями, используя информационно-теоретические методы.