Альтернатива с открытым исходным кодом для diction

На чтение 4 мин Опубликовано 21.01.2025

Вопрос или проблема

Существует ли альтернатива с открытым исходным кодом для DICTION?

У меня есть список слов, и я должен найти эти слова в тексте и создать отчет с указанием, например, количества вхождений каждого слова, а также тот же текст с выделенными словами (в формате docx или html).

Ответ или решение

Теория

DICTION — это коммерческое программное обеспечение, преимущественно используемое для анализа текстов на основе предопределенных категорий слов и стандартов. Главной задачей данной системы является оценка эмоционального состояния, уверенности и других характеристик текста на основании частотного анализа слов. Ожидается, что аналог, к которому стремятся ваши требования, будет генерировать отчет, содержащий количество вхождений конкретных слов из списка, а также подчеркнутый или выделенный текст для наглядного представления, и это должно быть выполнено в формате DOCX или HTML.

В мире программного обеспечения существует множество открытых альтернатив, которые могут выполнять похожие задачи благодаря растущей популярности инструментов с открытым исходным кодом. Часто такие проекты могут предоставить не только основную функциональность, но и гибкость в адаптации и расширении, что является значительным преимуществом перед закрытыми решениями.

Пример

Программное обеспечение "Natural Language Toolkit" (NLTK) для языка Python является одним из наиболее известных открытых инструментов для обработки естественного языка. NLTK предоставляет богатый набор функций для анализа текста, включая токенизацию, пословный анализ и непосредственно частотный анализ, который поможет в выполнении вашей задачи.

Для выделения слов в текстах и создания отчетов в формате HTML или DOCX подойдет библиотека Python "python-docx" для работы с DOCX и "BeautifulSoup" или "lxml" для генерации HTML. Эти инструменты позволят автоматизировать процесс форматирования и представления данных, обеспечивая возможности для расширенной визуализации.

Применение

Для решения вашей задачи начнем с установки необходимых библиотек:

pip install nltk python-docx beautifulsoup4

Примерный фрагмент кода может состоять из следующих шагов:

Загрузка и предобработка данных: Загрузим текстовые данные, которые необходимо будет проанализировать.
Анализ текста: Используя NLTK, мы можем токенизировать текст, посчитать количество вхождений для каждого интересующего нас слова и создать словарь с полученными данными.
Генерация отчета:
- DOCX: Создайте новый документ, добавьте текст и подсветку с помощью библиотеки python-docx.
- HTML: Разметьте текст объемно, чтобы выделить искомые слова тегами высокого уровня (например, <span>), и сохраните затегированный текст как HTML-документ.

Вот пример кода на Python для выполнения этих шагов:

from nltk import word_tokenize, CorpusReader
from docx import Document
from bs4 import BeautifulSoup

# Подготовка и анализ текста
text = "Here is your input text. It will be searched for specific words."
word_list = ["input", "searched", "words"]

word_freq = {}
tokens = word_tokenize(text)

for word in word_list:
    word_freq[word] = tokens.count(word)

# Открытие документа DOCX для записи
doc = Document()
doc.add_heading('Отчет по текстовому анализу', 0)

for word, count in word_freq.items():
    p = doc.add_paragraph()
    p.add_run(f'Слово "{word}" встречается {count} раз.\n').bold = True

# Выделение и добавление текста в DOCX
for token in tokens:
    if token.lower() in word_list:
        doc.add_paragraph(' ').add_run(token).highlight_color = 3  # Word highlight цвет

doc.save('report.docx')

# Форматирование в HTML
html = BeautifulSoup("<html><body>{}</body></html>", "html.parser")
body = html.body

for token in tokens:
    new_tag = html.new_tag("span")

    if token.lower() in word_list:
        new_tag.attrs['style'] = "background-color: yellow;"

    new_tag.string = token + " "
    body.append(new_tag)

# Сохранение HTML
with open("report.html", "w", encoding="utf-8") as out_file:
    out_file.write(str(html))

print("Анализ завершен, документы сохранены.")

Этот код анализирует текст на предмет заданных слов, создает частотный отчет и генерирует как DOCX, так и HTML-документы с выделением, что удовлетворяет описанные вами требования.

Таким образом, за счет использования открытых инструментов и библиотек, доступных для Python, вы можете создавать мощные и гибкие решения для анализа текста без необходимости приобретать лицензии на коммерческое ПО.