Вопрос или проблема
Я анализирую технику “Sherlock” – семантический метод обнаружения столбцов, при котором количество образцов конкретного типа в обучающем наборе данных ограничено 15K, а слишком мало встречающихся образцов менее 1K на класс также исключены. В чем причина этого? Каковы недостатки наличия слишком большого или слишком маленького количества образцов конкретного типа на входе нейронной сети?
Теоретически, наличие слишком большого или слишком малого количества данных не имеет недостатков. Это только отразится на общей производительности вашей модели. Согласно статье о Sherlock, похоже, что это выбор, который они сделали для своего предварительного обработки. Вот их объяснение:
Определенные типы встречаются в корпусе VizNet чаще, чем другие. Например, описание и город встречаются чаще, чем коллекция и континент. Чтобы справиться с этой гетерогенностью, мы ограничили количество столбцов максимум 15K на класс и исключили 10% типов, содержащих менее 1K столбцов.
Они сделали это, чтобы уменьшить общий дисбаланс своего набора данных.
Ответ или решение
Когда мы говорим о нейронных сетях и их обучении, количество доступных обучающих выборок (samples) для конкретной характеристики (feature) может оказать значительное влияние на производительность модели. В частности, ссылаясь на технику, описанную в исследовании Sherlock, в которых ограничивают количество экземпляров определенного типа до 15 000 и исключают классы с менее чем 1 000 экземпляров, возникает множество интересных аспектов для обсуждения.
Основная проблема, с которой мы сталкиваемся, это дисбаланс в данных. Существуют два крайних случая: слишком большое количество экземпляров одного класса и слишком малое количество экземпляров другого.
Преимущества и недостатки большого количества обучающих образцов
Преимущества:
- Устойчивость к переобучению: Наличие большого количества образцов может помочь в создании более обобщенной модели, которая не будет склонна к переобучению на конкретные данные.
- Богатство в вариациях: Большое количество данных разнообразит информацию, позволяя модели лучше понять характеристики и отношения между разными классами.
Недостатки:
- Засорение данных: Избыточность данных может увеличить время и ресурсы для обучения, без увеличения точности модели.
- Сложность обработки: При слишком большом объеме данных может возникнуть необходимость в специальных методах обработки, таких как уменьшение размерности, чтобы избежать избыточной сложности.
Преимущества и недостатки малого количества обучающих образцов
Преимущества:
- Фокусировка на специфике: Меньшее количество экземпляров может позволить модели сосредоточиться на более редких, но важных шаблонах данных.
Недостатки:
- Слабая обобщаемость: Модель может не иметь достаточной информации для выработки обобщенных закономерностей, что приводит к плохому качеству предсказаний на новых данных.
- Увеличение метрики ошибки: Будучи ограниченной в представлении классов, модель может повышать вероятность ошибок, особенно в конфликтах между классовыми признаками.
Заключение
Исходя из изложенного, в нейронных сетях важно поддерживать баланс между количеством положительных и отрицательных образцов каждого класса. Необходимость ограничения до 15 000 для более частых типов и исключение классов с менее чем 1 000 экземпляров в технике Sherlock обусловлена стремлением к снижению дисбаланса. Этот подход позволяет избежать эффекта переобучения для доминирующих классов и недообучения для редких классов, что, в свою очередь, способствует созданию более точной и надежной модели.
В конечном итоге, обработка и выбор данных для обучения являются критически важными шагами в разработке и реализации нейронных сетей. Как показывает практика, понимание этих аспектов позволяет строить более эффективные алгоритмы и достигать лучших результатов в области машинного обучения.