Вопрос или проблема
Я работал над задачей идентификации именованных сущностей (а не распознавания). В этой задаче обработки естественного языка (NLP) модели дано предложение, и она должна предсказать, является ли каждое слово (или токен) именованной сущностью или нет. Используемый набор данных – это набор данных CONLL2003.
Изначально я включил признак first-letter-capital, который был равен 1, если первая буква токена заглавная. Модель научилась предсказывать первое слово каждого предложения как именованную сущность.
Поэтому я убрал этот признак и добавил признак first-letter-capital-for-non-sentence-start-word, который был равен 1, если слово не является первым в предложении и имеет заглавную первую букву. Это заставило модель классифицировать первое слово каждого предложения как не именованную сущность.
Когда я не использовал ни тот, ни другой признак, модель не предсказала ни одно слово как именованную сущность. Почему это могло произойти? Может кто-то поделиться своим мнением?
Если вы используете обычный алгоритм классификации, такой как SVM, не удивительно, что модель не находит никаких указаний в признаках, если признаки состоят только из слова и этого булева признака.
Этот тип задачи обычно выполняется с помощью модели последовательной разметки, такой как CRF: такие модели обучаются на основании контекста предложений, чтобы обнаружить сущности. Например, в предложении “X сказал, что …” модель может использовать следующее слово “сказал”, чтобы определить “X” как сущность.
Если вы хотите продолжать использовать SVM, вы можете попробовать добавить некоторые контекстные признаки. Это, вероятно, немного поможет, но не будет работать так хорошо, как модель CRF.
Ответ или решение
Как проектировать функции для задачи идентификации именованных сущностей
Введение
Задача идентификации именованных сущностей (Named Entity Identification, NEI) представляет собой один из ключевых аспектов обработки естественного языка (NLP). В отличие от распознавания именованных сущностей, которая акцентируется на выделении объектов, идентификация предполагает определение, является ли каждый токен в предложении именованной сущностью или нет. Это требует внимательной проработки функций, которые будут использоваться для обучения модели. В данной статье рассматриваются стратегии проектирования признаков, а также причины, по которым некоторые методы могут давать неэффективные результаты.
Проблема и анализ первого подхода
Вы начали с использования функции first-letter-capital, что должно было помочь модели идентифицировать имена собственные, так как они, как правило, начинаются с заглавной буквы. Однако, это привело к тому, что модель начала неумолимо классифицировать первое слово предложения как именованную сущность. Удаление этой функции, в особенности, привело к тому, что модель вообще перестала классифицировать слова как именованные сущности.
Опыт показывает, что особенно простые функции могут оказаться неэффективными. В вашем случае модель не могла найти никаких индикаторов, что говорит о необходимости разработки более сложных, контекстуальных функций.
Предложение использования контекстуальных функций
-
Контекстные признаки: Использование дополнительных контекстных признаков может значительно улучшить качество модели. Например, добавьте функции, которые будут учитывать:
- Токены слева и справа от текущего слова: Например, задание бинарных признаков для слов, окружающих текущее слово, создаст возможность моделям, основанным на машинах, понимать контекст, в котором находится слово.
- Часть речи (POS): Информация о части речи может быть полезной при определении, является ли слово именованной сущностью. Существительные и именованные сущности обычно представляют интерес в этом контексте.
-
Сглаживание признаков: Вместо того чтобы полагаться только на функции, основывающиеся на заглавной букве, можно создать признаки, основанные на частотности использования определенных слов в качестве именованных сущностей в предыдущих контекстах, а также использовать указание на контекст.
-
Позиционные признаки: Задание бинарных признаков в зависимости от позиции токена в предложении (например, первое, второе, последнее слово) также может предоставить полезную информацию модели.
-
Использование внешних ресурсов: Включение внешних онтологий или баз данных может повысить эффективность модели. Например, если токен совпадает с именем в базе данных, это может служить дополнительным индикатором того, что это именованная сущность.
Перспективы применения CRF и других моделей
Как было упомянуто в комментариях, использование методов последовательного маркирования, таких как условные случайные поля (CRF) или рекуррентные нейронные сети (RNN), часто более эффективно для подобных задач, так как они могут учитывать последовательность и контекст слов. Эти архитектуры могут автоматически извлекать сложные зависимости между токенами, что значительно улучшает качество идентификации.
Заключение
Проектирование функций для задачи идентификации именованных сущностей требует глубокого понимания данных, с которыми вы работаете, а также контекста, в котором они используются. Применяя более сложные и контекстуально ориентированные функции, а также рассматривая возможность использования более мощных моделей, вы значительно повысите вероятность успешного выполнения задачи.
Обратите внимание на выбор правильных инструментов и методов, опирайтесь на анализ данных и опыт, и ваша модель обязательно достигнет более высоких результатов в идентификации именованных сущностей.