Вопрос или проблема
Мне задали задание построить модель, которая идентифицирует пол автора текста. Оценка задания будет зависеть от f1_score моей модели, чтобы получить максимальные баллы, он должен быть как минимум 0.7. Мне предоставили 360 историй и полы их авторов, а также 150 для проверки (без указания пола). Я попробовал несколько различных моделей машинного обучения, несколько методов нормализации и несколько корпусов стоп-слов, и пока не достиг своей цели.
Если у вас есть какие-либо советы/информация, я буду признателен!!
** Язык историй – не английский, а мой родной язык (иврит)**
Предсказание пола автора относится к категории задач стилометрии, т.е. связанным со стилем текста, а не с содержанием. В общем, это различие требует совсем другого подхода, чем стандартные задачи, основанные на содержании. Вот несколько самых распространенных отличий:
- Слова содержания (существительные, прилагательные, наречия) потенциально менее важны, поэтому TFIDF и подобные методы мало имеют смысла. Однако это зависит от данных.
- Обычно, удаление стоп-слов является контрпродуктивным, поскольку они могут быть на самом деле очень полезными и характерными для стиля автора (по крайней мере, их пропорция в тексте).
- По причинам, которые не совсем ясны, было экспериментально установлено, что биграммы и триграммы символов часто являются лучшими признаками, чем слова. Это было наблюдено, по крайней мере, в английском, я не знаю, применимо ли это к другим языкам.
В общем, не рекомендуется нацеливаться на конкретный уровень производительности, если это не базовый уровень, который известен как достижимый, например, когда другая модель может это сделать на аналогичных данных. С учетом этого, в случае данной задачи я бы сказал, что 0.7 F1-score вполне реалистичен, но это действительно во многом зависит от данных.
Если вам интересно исследовать литературу с целью применения современных методов, проводились специальные задачи по этому вопросу, иногда в сочетании с другими предсказаниями, такими как возраст. Поиск по запросам “авторский профилирование” и “гендерное профилирование” на PAN Shared Tasks. Вы также можете найти другие соответствующие методы в общей категории “классификация/верификация авторов”.
Ответ или решение
Для улучшения вашего F1-метрика в задаче классификации пола автора текста важно учитывать множество аспектов, касающихся как самой модели, так и обработки текста. Вот несколько стратегий, которые могут оказать значительное влияние на результат:
1. Обработка текста (Preprocessing)
-
Сохранение стоп-слов: В отличие от обычных задач, где стоп-слова могут быть удалены, в вашем случае они могут содержать полезные стилистические признаки. Попробуйте использовать стандартный набор стоп-слов для иврита и оцените их влияние на модель.
-
Нормализация текста: Проведите нормализацию текста, включая приведение его к нижнему регистру, удаление спецсимволов и исправление опечаток. Это позволит вашей модели работать с более чистыми данными.
-
Составные слова: Обратите внимание на сложные словосочетания и н-граммы. В вашем случае биграммы и триграммы символов могут быть более информативными, чем н-граммы слов. Экспериментируйте с различными размерами н-грамм для выявления лучших признаков.
2. Выбор признаков (Feature Selection)
-
Количество и распределение лексем: Исследуйте слова и их частотность в зависимости от пола автора. Выявите характерные слова или выражения для мужского и женского пола, что может помочь модели выполнять точную классификацию.
-
Статистические признаки: Рассмотрите возможность добавления статистических признаков, таких как средняя длина предложения, использование определенных грамматических конструкций или частота употребления глаголов и существительных.
3. Моделирование
-
Выбор правильной модели: Кроме стандартных моделей, таких как логистическая регрессия или SVM, изучите использование более сложных методов, таких как градиентный бустинг (например, XGBoost) или нейронные сети. Исследование использования LSTM или трансформеров также может дать вам конкурентное преимущество.
-
Кросс-валидация: Используйте кросс-валидацию для оценки и выбора наилучшей модели. Это поможет вам избежать переобучения и даст более надежную оценку производительности модели.
4. Тонкая настройка параметров (Hyperparameter Tuning)
- Оптимизация гиперпараметров: Примените методы поиска по сетке или случайного поиска для оптимизации гиперпараметров вашей модели. Это может значительно улучшить F1-метрику.
5. Оценка производительности
-
Метрики и валидация: Убедитесь, что вы используете правильные метрики для оценки вашей модели. Применяйте F1-метрику в качестве основной, но также не забывайте о полноте и точности для более глубокого анализа качества классификации.
-
Тестирование на оценочном наборе: Применяйте вашу модель на представленном наборе данных (150 историй) и анализируйте ошибки. Модели, делающие много ошибок, могут выявить шаблоны, которые можно использовать для дальнейшего улучшения.
Заключение
Достижение F1-метрики в 0,7 требует систематического подхода и экспериментов. Исследуйте доступные вам методы и не бойтесь комбинировать различные подходы. Читайте научные работы, изучайте передовые достижения в области стилометрии и авторского профилирования, чтобы извлечь полезные идеи и стратегии.
Постарайтесь не зацикливаться на целочисленных показателях, вместо этого сосредоточьтесь на непрерывном улучшении вашей модели и понимании данных. Удачи с вашим проектом!