Тонко настроенная MLM на основе RoBERTa не улучшает производительность.

У нас есть много специфических для домена данных (более 200 миллионов данных, каждый документ содержит от ~100 до ~500 слов), и мы хотели получить модель языка, специфическую для домена.

Мы взяли несколько образцов данных (более 2 миллионов) и дообучили RoBERTa-base (используя HF-Transformer) с помощью задачи маскированного моделирования языка (MLM).

На данный момент,

1. мы провели 4-5 эпох (длина последовательности 512, размер партии=48)
2. использовали косинусный планировщик скорости обучения (2-3 цикла/эпохи)
3. Мы использовали динамическое маскирование (замаскировали 15% токенов)

Поскольку модель RoBERTa была дообучена на специфических для домена данных, мы ожидаем, что эта модель будет работать лучше, чем предобученная RoBERTa, которая обучалась на общих текстах (данные из вики, книги и т. д.)

Мы выполнили некоторые задачи, такие как распознавание именованных сущностей (NER), классификация текста и генерация векторных представлений для выполнения задач косинусного подобия. Мы сделали это как на дообученной модели RoBERTa, специфической для домена, так и на предобученной RoBERTa.

Удивительно, но результаты оказались одинаковыми (очень небольшая разница) для обеих моделей. Мы также пробовали модели Spacy, но результаты аналогичны.

Показатели перплексии указывают на то, что дообученная модель MLM на базе RoBERTa имеет минимальные потери.

1. Может кто-то помочь нам понять, почему модель, основанная на MLM, не показывает лучших результатов?
2. Должны ли мы взять больше данных ИЛИ больше эпох ИЛИ и то, и другое, чтобы увидеть какой-то эффект?
3. Делаем ли мы что-то неправильно? Дайте знать, если какие-то необходимые детали отсутствуют. Я обновлю информацию.

Любые предложения ИЛИ ценные ссылки, касающиеся этих вопросов, будут очень полезны.

Страница обсуждений Huggingface: https://discuss.huggingface.co/t/fine-tuned-mlm-based-roberta-not-improving-performance/36913

Замечательно, что вы дообучили RoBERTa на своих специфических для домена данных и видите минимальные потери в оценках перплексии. Однако есть несколько причин, почему дообученная модель RoBERTa на основе MLM может не показывать лучших результатов по сравнению с предобученной моделью RoBERTa:

1. Качество данных: Возможно, качество ваших специфических для домена данных не так хорошо, как вы думаете. Даже если у вас много данных, если они не являются репрезентативными для домена или если есть ошибки, шум, несоответствия или другие проблемы с качеством, это может негативно сказаться на производительности вашей дообученной модели. Вам может быть полезно внимательно просмотреть свои данные и рассмотреть возможность их очистки, фильтрации или увеличения по мере необходимости.

2. Ограниченный размер образца: Дообучение языковой модели на ограниченном размере образца может не быть достаточным для захвата нюансов и сложности ваших специфических для домена данных. Вы упомянули, что использовали более 2 миллионов данных для дообучения, но у вас есть гораздо больший датасет (более 200 миллионов данных). Возможно, увеличение размера вашего датасета для дообучения приведет к лучшей производительности.

3. Ограниченное количество эпох дообучения: Дообучение языковой модели требует достаточного количества эпох, чтобы изучить нюансы специфических для домена данных. Вы упомянули, что провели всего 4-5 эпох, что может быть недостаточно для того, чтобы модель полностью адаптировалась к вашим данным. Увеличение числа эпох может привести к улучшению производительности или использование большего размера партии для улучшения сходимости вашей модели.

4. Ограниченные техники дообучения: Маскированное моделирование языка (MLM) является одной из техник дообучения языковых моделей. Однако существуют и другие техники дообучения, такие как предсказание следующего предложения, которые могут быть использованы для дообучения языковых моделей. Также вы можете попробовать различные гиперпараметры, такие как скорость обучения, размер партии, длина последовательности и стратегия маскирования, чтобы увидеть, влияют ли они на производительность вашей дообученной модели. Вы могли бы попробовать использовать график скорости обучения, который увеличивается или уменьшается более агрессивно, или попробовать использовать больший размер партии или длину последовательности для захвата большего контекста.

5. Ограниченные задачи оценки: Вы упомянули, что оценивали дообученную модель на распознавании именованных сущностей (NER), классификации текста и задачах генерации векторных представлений. Возможно, что эти задачи не являются достаточно чувствительными, чтобы выявить тонкие различия между предобученной и дообученной моделями. Вам может быть полезно оценить вашу модель по более разнообразным задачам, таким как вопрос-ответ, суммирование или машинный перевод, чтобы увидеть, есть ли разница в производительности между вашей дообученной моделью и предобученной RoBERTa.

6. Сложность модели/Архитектура модели: Архитектура RoBERTa может не подойти для ваших специфических для домена данных и задач. Возможно, что знания, специфичные для домена, которые захватывает ваша дообученная модель, недостаточно сложны, чтобы оказать влияние на ваши задачи. Вам может быть полезно поэкспериментировать с более сложной архитектурой модели или добавить больше слоев в вашу дообученную модель или даже изучить кастомные архитектуры, специально разработанные для вашей задачи и домена.

Без дополнительной информации о ваших данных и задачах трудно точно сказать, почему дообученная модель не показывает лучших результатов. Однако объяснения, которые я перечислил выше, являются одними из распространенных причин, почему дообучение может не всегда приводить к значительным улучшениям в производительности.

Чтобы решить эти проблемы, вот несколько предложений:

• Увеличьте размер датасета для дообучения и число эпох. Вам может быть полезно попробовать различные размеры эпох и оценить модель после каждой эпохи, чтобы увидеть, улучшается ли производительность. Добавление большего количества данных, которые не являются репрезентативными для домена или добавление слишком многих эпох может привести к переобучению, что негативно скажется на производительности.

• Попробуйте разные техники дообучения, такие как предсказание следующего предложения или классификация последовательности.

• Используйте специфические для домена метрики оценки для оценки вашей модели. Использование стандартных метрик, таких как точность или F1, может быть недостаточно чувствительным к нюансам вашего домена. Вам может быть полезно рассмотреть возможность использования специфических для домена метрик оценки или создания своих собственных метрик оценки для более точной оценки производительности вашей модели.

• Используйте техники трансферного обучения, такие как адаптивное дообучение для домена или адаптивное предобучение для домена, чтобы улучшить производительность модели на вашем конкретном домене.

• Рассмотрите возможность использования других архитектур, таких как BERT или XLNet, чтобы увидеть, приведут ли они к лучшей производительности.

• Попробуйте обучить языковую модель с нуля на ваших специфических для домена данных, чтобы увидеть, улучшит ли это производительность.

Что касается дополнительных ресурсов, вам могут быть полезны следующие ссылки:

• Документация Hugging Face Transformers содержит подробную информацию о дообучении и настройке гиперпараметров: transformers
• Статья ULMFiT обсуждает техники дообучения ЯМ на специфических для домена данных и может быть актуальной для вашей работы.
• Институт Аллена по искусственному интеллекту (AI2) выпустил инструмент для оценки производительности ЯМ по различным задачам, называемый “GLUE Benchmark“
• Бенчмарк SuperGLUE является расширением GLUE, которое направлено на тестирование пределов NLU моделей и может быть полезной оценочной задачей для вашей дообученной модели.

Если у вас почти одинаковые результаты, это, вероятно, связано с самими данными. Есть ли много избыточного контента?

Данные должны иметь некоторую избыточность, но не слишком много, иначе возникает дисбаланс между весами, что снижает качество обучения.

Я предлагаю эту идею на основе собственного опыта. Если ваши данные содержат много схожестей между документами, вам следует сократить их до строгого минимума. Например, если у вас есть 10 000 статей с почти одинаковым содержанием, это повлияет на обучение модели.

Кроме того, избыточности не представляют интереса с точки зрения классификации/прогнозирования. Следовательно, ваши учебные данные должны быть не только многочисленными, но и разнообразными, чтобы обеспечить хороший баланс весов корпусного словаря (или любой другой архитектуры модели).