Вопрос о тренировочных метках в моделях классификации в контексте больших языковых моделей.

Вопрос или проблема

В настоящее время я прохожу курс по LLM, и наш преподаватель сказал что-то, что привело меня к идее и вопросу. На тему тонкой настройки инструкций он сказал:

“Учебный набор данных должен содержать множество пар запросов и завершений, каждая из которых должна содержать инструкцию. Во время тонкой настройки вы выбираете запросы из учебного набора данных и передаете их LLM, который затем генерирует завершения. Далее вы сравниваете завершения LLM с ответом, указанным в учебных данных. Помните, что выход LLM — это вероятность распределения по токенам. Таким образом, вы можете сравнить распределение завершения с распределением учебной метки и использовать стандартную функцию кросс-энтропии, чтобы вычислить потери между двумя распределениями токенов.”

Я задаю вопрос в контексте LLM, но эта же концепция может быть применима к контролируемому обучению в целом. Вместо того чтобы метки были единственным «правильным» ответом, что если бы они представляли собой распределения потенциально правильных ответов?

Например, если запрос будет:

“Классифицируйте этот отзыв: Он был неплохим.”

Вместо того чтобы помечать настроение как «Позитивное», что если бы мы хотели, чтобы результат был «Позитивным» 60% времени и «Нейтральным» 40% времени.

Спросив по-другому, вместо того чтобы рассматривать задачи классификации как имеющие только один правильный ответ, пробовали ли люди обучать модели классификации (LLM или другие), где правильный ответ представлял собой набор меток, каждая из которых имела свою вероятность распределения? Моя интуиция подсказывает, что это может помочь предотвратить переобучение моделей и улучшить их обобщающую способность. Особенно поскольку в реальной жизни вещи редко укладываются в четкие категории.

Спасибо!

Ответ или решение

Ваш вопрос затрагивает важный аспект обучения классификационных моделей, и действительно, использование распределений вероятностей в качестве меток вместо единственной "правильной" категории — это интересная и перспективная идея.

В контексте больших языковых моделей (LLM) и других классификационных алгоритмов, существует множество исследований, которые предлагают подходы, основанные на вероятностных метках. Давайте рассмотрим несколько ключевых моментов по данной теме:

Преимущества вероятностных меток: Использование распределений вероятностей в качестве меток может помочь моделям учитывать неопределенность и сложность данных. В реальных сценариях, например в анализе настроений, крайне редко встречаются четкие границы между положительными, нейтральными и отрицательными мнениями. С помощью вероятностных меток, модель может лучше передавать эту неопределенность. Например, в вашем примере с отзывом "It wasn’t bad", распределение "Положительно" 60% и "Нейтрально" 40% более точно отражает сложную природу человеческой оценки.
Методы обучения: Для этого подхода можно использовать специальные функции потерь, такие как кросс-энтропия, которые учитывают вероятностные распределения. Вместо того, чтобы просто минимизировать разницу между единичной меткой и предсказанием модели, нужно будет минимизировать расстояние между двумя распределениями, что потребует от модели более тонкого понимания контекста и nuance.
Проблема переобучения: Как вы правильно заметили, обучение на вероятностных метках может помочь избежать переобучения и улучшить обобщающую способность модели. Модели, которые обучаются на множестве возможных выходов, становятся более устойчивыми, поскольку они учатся предсказывать не только фиксированные категории, но и оценивать вероятность различных вариантов. Это может быть особенно полезно в задачах, где данные разрозненные или где нет четких меток.
Примеры из практики: Некоторые современные исследования и практики в области машинного обучения действительно уже используют подобные методики. Например, в задачах мультимодальной классификации, где данные могут быть описаны с различных точек зрения, или в ситуациях, когда аннотирование данных требует значительного субъективного суждения экспертов.
Будущие направления: Существует множество направлений для дальнейших исследований и применения метода вероятностных меток. Одна из задач — это улучшение интерпретируемости моделей, которые работают с вероятностями, что может быть критично для их внедрения в бизнес-процессы.

В заключение, подход, который вы предложили, имеет множество преимуществ и заслуживает более глубокого изучения. Не только в контексте LLM, но и в более широком круге задач машинного обучения. Ваши наблюдения о сложности реального мира и о том, как это может быть отражено в моделях, являются непреложной истиной, и использование вероятностных меток может стать важным шагом вперед в разработке более гибких и эффективных моделей.