Вопрос или проблема
Утверждается Сривастава, Хинтон, и др., что “дропаут может быть эффективно применён и в скрытых слоях, и что его можно интерпретировать как форму усреднения модели” и что “обучение нейронной сети с дропаутом можно рассматривать как обучение коллекции $2^n$ разреженных сетей с обширным совместным использованием весов”.
Во-первых: мне интуитивно понятно, как дропаут является формой усреднения модели. На каждой эпохе во время обучения значения нейронов стохастически устанавливаются в 0. Это похоже на то, что на каждой эпохе у нас появляется другая нейронная сеть (с разным количеством отключённых скрытых нейронов). Есть ли математическая причина, почему это интерпретируется как усреднение модели?
Во-вторых: откуда берётся $2^n$ во втором цитате?
Что касается первого:
Обычно дропаут активен только во время этапа обучения вашей модели (исключения составляют модели, предоставляющие простую оценку неопределённости). Таким образом, во время вывода новых невидимых входных данных используется вся модель, фактически приводя к суперпозиции всех ранее обученных субмоделей, которые были созданы с использованием дропаута. Я думаю, что именно это они имеют в виду под усреднением.
Что касается второго:
Вам нужно учитывать данный контекст. Учитывая модель с n нейронами, которые имеют бинарное свойство быть либо включенными, либо отключенными дропаута, получается 2^n возможных субмоделей.
Ответ или решение
Ответ на вопрос о том, как дроп-аут ведет себя как усреднение моделей
Первый аспект: дроп-аут как усреднение моделей
Действительно, дроп-аут можно рассматривать как форму усреднения моделей благодаря тому, как он изменяет архитектуру нейронной сети во время обучения. В процессе обучения, на каждой эпохе, дроп-аут случайным образом отключает значительное количество нейронов в скрытых слоях. Это приводит к тому, что на каждой итерации обучения нейронная сеть фактически становится другой — с различными комбинациями отключенных нейронов. Следовательно, обучение с дроп-аутом эквивалентно обучению множества различных подмоделей, которые представляют собой разные ее выборки.
Во время стадии инференции (применения), когда дроп-аут отключен, используется вся модель, что позволяет "усреднить" результаты всех подмоделей, созданных во время обучения. Это аналогично усреднению прогноза различных моделей, поскольку каждая из отключенных настроек нейронов "голосует" за финальный результат. Таким образом, дроп-аут предотвращает переобучение и способствует обобщающей способности модели, так как она интегрирует знания, полученные от множества разных архитектур, обученных на одних и тех же данных.
Второй аспект: происхождение выражения (2^n)
Что касается вопроса о (2^n), это выражение относится к количеству возможных подклассов нейронной сети, которые могут быть созданы в результате применения дроп-аута. Если рассмотреть сеть, состоящую из (n) нейронов, каждый из которых может быть либо активен, либо отключен (то есть находиться в состоянии дроп-аута), то для каждого нейрона существует 2 состояния (включен или отключен). Соответственно, если оказалось (n) таких нейронов, общее количество возможных сочетаний активных и неактивных нейронов составит (2^n).
Эти (2^n) различных подмоделей позволяют нейронной сети развивать более устойчивые представления, так как каждая подмодель учится на разнообразии, что, в свою очередь, помогает избежать особой зависимости от конкретных обучающих примеров. Это усиливает обобщающую способность сети и делает ее более устойчивой к шуму.
Заключение
В общем, дроп-аут может быть интерпретирован как метод усреднения моделей, так как он создает множество различных архитектур нейронной сети во время обучения, а затем использует усреднение их выводов во время тестирования. Это не только улучшает производительность модели, но и помогает в предотвращении переобучения, что является одним из важнейших аспектов в обучении глубоких нейронных сетей.