Вопрос или проблема
В ‘Автоматическом построении лексиконов, таксономий, онтологий и других структур знаний’ упоминается;
Существует два немного разных класса измерений: лексическая связанность (иногда называемая ‘унитностью’ или ‘фразовостью’), которая количественно оценивает ожидание совместного вхождения слов в фразе (например, указатель в конце книги значительно более связан, чем имя термина); и семантическая информативность (иногда называемая ‘терминностью’), которая подчеркивает фразы, представляющие данный документ или область.
Однако обзор не включает способы расчета/получения этих мер. Мог бы кто-нибудь уточнить, как получить эти два измерения для данного текстового документа?
Лексическая связанность также называется извлечением коллокаций, часто встречающихся n-грамм. Одним из примеров является “Сан-Франциско”, который встречается чаще в сравнении с “Сан” и “Франциско”, appearing independently. Один из методов извлечения коллокаций — это упорядочить все n-граммы по частоте появления и выбрать порог для включения.
Семантическая информативность ближе к tf–idf для n-грамм. Вместо того, чтобы просто использовать необработанные частотные подсчеты, частота взвешивается на основе уникальности.
Ответ или решение
Как рассчитать лексическую когезию и семантическую информативность для заданного набора данных
В области информационных технологий и обработки естественного языка лексическая когезия и семантическая информативность играют важную роль в анализе текстовых данных. В данной статье мы рассмотрим методы расчетов этих двух метрик.
1. Лексическая когезия
Лексическая когезия, также известная как «унитхауд» или «фразовость», измеряет степень ожидаемого сосуществования слов в фразах. Один из способов подготовки к расчету лексической когезии включает в себя следующие шаги:
Шаги для расчета лексической когезии:
-
Сбор данных: Сначала необходимо собрать текстовые данные, которые необходимо проанализировать.
-
Извлечение n-грамм: Используя алгоритмы для извлечения n-грамм, можно выделить последовательности слов (группы слов), которые имеют значимую частоту появления. Самым распространенным методом является определение частоты n-грамм и фильтрация тех, которые отвечают заданному порогу.
-
Пример: Используйте библиотеки для обработки текста, такие как NLTK или spaCy в Python, чтобы извлечь биграммы и триграммы.
from nltk import ngrams n_grams = list(ngrams(text.split(), 2)) # для биграмм
-
-
Оценка коэфициентов соотношения: Рассчитайте коэффициенты соотношения для выявления статистически значимых n-грамм, учитывая их частоту в пределах текста и в других текстах (или корпусе).
-
Создание лексического множества: Создайте множество из уникальных n-грамм, отобранных по критерию частоты.
-
Коэффициент когезии: Для каждой выделенной n-граммы вам потребуется вычислить коэффициент когезии, который можно определить на базе их частотного распределения.
Пример алгоритма:
Использование частоты появления различных n-грамм можно визуализировать через графики, чтобы наглядно увидеть связи между ними.
2. Семантическая информативность
Семантическая информативность, иногда называемая «термхауд», акцентирует внимание на фразах, представляющих документ или домен. Это можно рассчитать с использованием метода, схожего с TF-IDF.
Шаги для оценки семантической информативности:
-
TF-IDF: Эта метрика учитывает как частоту термина (TF), так и обратную документную частоту (IDF). Формула вычисляется следующим образом:
[
TF-IDF(t, d) = TF(t, d) \cdot IDF(t)
]где:
- ( TF(t, d) = \frac{Частота\ t\ в\ документе\ d}{Общее\ количество\ терминов\ в\ документе\ d} )
- ( IDF(t) = \log\frac{Общее\ количество\ документов}{Количество\ документов,\ содержащих\ термин\ t} )
-
Рассчитайте TF-IDF для каждой n-граммы: После извлечения n-грамм используйте обсужденную формулу для оценки их семантической информативности.
-
Сравнение с другими н-граммами: Это позволит ранжировать n-граммы по их информативности, где более высокие значения показывают большую семантическую ценность для данного текста или домена.
-
Создание сводной таблицы: Поскольку для больших наборов данных может возникнуть необходимость в визуализации, сводные таблицы или графики могут использоваться для представления результатов.
Заключение
Рассмотренные методы расчета лексической когезии и семантической информативности являются основными инструментами анализа текстовых данных. Они позволяют глубже понять структуру и контекст текста, обеспечивая информативную основу для дальнейшего анализа. Для точных вычислений рекомендуется использовать специализированные библиотеки и инструменты, такие как NLTK, Gensim, или Sci-kit Learn.
Эти метрики могут стать мощными средствами для получения ценной информации в различных областях, от всеобъемлющего анализа данных до создания более сложных систем обработки естественного языка.