Вопрос или проблема
Я пытался подогнать свою модель по небольшой выборке из 128 образцов для бинарной классификации. Модель должна быть достаточно мощной, так как у нее сотни тысяч параметров. Она должна быть способна переобучиться до 100% точности. Однако она достигает лишь 96% в лучшем случае. Это примерно то же, что и при обучении на 30 000 образцах. Поэтому я попробовал следующее, но все не удалось:
использовать меньшую выборку из 16 образцов, она все равно не может переобучиться
использовать разные оптимизаторы, включая Adam, SGD, Adagrad, даже сбрасывать оптимизатор каждые 1000 эпох, не работает
каждую эпоху обучаться только на образцах, которые были неправильно классифицированы, не работает.
Проблема, вероятно, в этой сети, так как другая, более простая нейронная сеть может достичь 100% подгонки. Эта может подогнать только на 99,2%. Верхний слой действительно сигмоидный.
У кого-нибудь есть идеи, в чем может быть проблема?
Я бы предположил, что есть несколько образцов, которые не обязательно происходят из той же распределения, что и остальные. Я бы попробовал идентифицировать выбросы и удалить их.
Хотя правда, что у вас больше параметров, чем образцов, ДНН обучает все эти параметры одновременно, что усложняет переобучение. Попробуйте уменьшить скорость обучения и использовать SGD с моментом = 0. Кроме того, не забудьте удалить любые виды регуляризации.
Я предполагаю, что вы хотите продолжать использовать 128 образцов и сеть, которую вы разработали, но вы всегда можете уменьшить количество параметров или использовать стандартную сеть для тестирования (ResNet, Inception, VGG). Обычно я беру достаточно образцов для одной выборки, когда хочу переобучить сеть.
В любом случае, если сеть достигла 96%, я бы начал с уменьшения скорости обучения.
Удачи
Один из способов удостовериться, что вы не можете идеально подогнать в выборке, это если два наблюдения имеют одинаковые значения признаков ($x$), но разные значения результата ($y$). Если это происходит, то ни одна функция не может подогнаться идеально, поскольку функции отображают идентичные входные значения на идентичные выходные значения.
Если вы находитесь в ситуации, когда два наблюдения имеют очень похожие (но не совсем одинаковые) значения признаков и разные значения результата, может быть, что переход между ними должен быть настолько резким, что вы еще не сошлись на таком переходе.
Ответ или решение
Возможные причины, по которым модель никогда не может идеальным образом переобучиться
В процессе машинного обучения одна из целей — достичь максимальной точности на обучающем множестве данных. Если ваша модель изначально предназначена для переобучения, но не способна достичь 100% точности, это может свидетельствовать о нескольких возможных проблемах, которые требуют детального анализа.
1. Неполный объем данных
Несмотря на то что у вас имеется 128 образцов, важно убедиться, что данные достаточно разнообразны и репрезентативны для изучаемой задачи. Если ваши данные содержат образцы, которые не представляют основную характеристику целевой переменной (в данном случае — бинарной классификации), это может затруднить модель в достижении идеального перетренирования.
2. Наличие неоднозначных примеров
Одной из возможных причин невозможности идеального переобучения может быть наличие двойных наблюдений (одинаковые значения признаков, но разные значения целевой переменной). Если два или несколько образцов имеют схожие, но не идентичные характеристики, но ассоциируются с различными метками, модель никогда не сможет идеально подстроиться под эти данные.
3. Степень сложности модели
Достоинство нейронных сетей в мощности и сложности, однако избыточная сложность может привести к трудностям в переобучении. Если ваша сеть слишком сложна, она может не корректно обрабатывать зависимости из-за высоких значений входных признаков. Попробуйте оптимизировать архитектуру сети, возможно, уменьшив количество параметров или слоев, сохраняя при этом её способность к обучению.
4. Проблемы с функцией потерь
Сигмоидная функция активации может иногда приводить к проблемам с градиентом, особенно в контексте больших архитектур. Проверьте, что функция потерь корректно минимизируется и, возможно, попробуйте использовать альтернативные функции активации или более подходящие функции потерь.
5. Регуляризация
Применение регуляризации (например, L1 или L2) может помочь избежать переобучения, но в вашем случае, если целью является достижение 100% точности на обучающей выборке, необходимо убедиться, что все виды регуляризации отключены. Слишком сильная регуляризация может не дать модели возможности адаптироваться к данным полностью.
6. Обучение и подход к оптимизации
Если вы уже пробовали разные подходы, включая разные оптимизаторы и изменение параметров обучения, стоит обратить внимание на методологию забора обучающих данных. Убедитесь, что вы корректно обновляете веса модели и правильно выбираете коэффициенты обучения. Попробуйте уменьшить скорость обучения и использовать метод градиентного спуска с моментом.
Заключение
Невозможность модели идеально переобучиться может быть результатом сложного взаимодействия нескольких факторов, включая качество и количество данных, архитектуру модели, подходы к обучению, а также саму задачу. Проведите тщательный анализ ваших данных, архитектуры сети и алгоритма обучения, чтобы выявить и устранить потенциальные проблемные зоны.