Как определить/узнать, что предложение касается будущего?

Вопрос или проблема

import pandas 
import spacy 

with open("paragraph.txt",'r') as f:
    content = f.read() 

nlp = spacy.load('en_core_web_sm')
sentences = list(nlp(content).sents)
sentences = [str(sentence) for sentence in sentences]
sentences_dataframe = pandas.DataFrame(sentences,columns =["Предложения"])
sentences_dataframe["F/NF"] = ""
sentences_dataframe.head()

import spacy
nlp = spacy.load('en_core_web_trf')

def identify_futuristic(sentence):
    sentence_doc = nlp(sentence)
    if any((token.morph.get('Tense') == [] and
            token.morph.get('VerbForm') == ['Fin'] and 
            token.morph.get('Mood') == [])
           or
           (token.morph.get('Tense') == ['Pres'] and
            token.morph.get('VerbForm') == ['Fin'] and
            token.morph.get('Mood') != ['Ind'])
           for token in sentence_doc):

        return 'F'
    else:
        return 'NF'

sentences_dataframe["F/NF"] = sentences_dataframe['Предложения'].apply(
    lambda s: identify_futuristic(s))

Ответ или решение

Чтобы идентифицировать или распознать предложения, касающиеся будущих планов или ожиданий (футуристические утверждения), необходимо учитывать как лексические, так и грамматические аспекты предложений. Это может быть выполнено как с помощью традиционных алгоритмов программирования, так и с помощью методов машинного обучения. В этой статье мы рассмотрим, как это сделать, используя язык программирования Python и его низкоуровневые библиотеки.

Ключевые аспекты для идентификации футуристических предложений

1. Анализ временных форм глаголов:

   • Футуристические предложения часто содержат глаголы в форме будущего времени (например, "будем делать", "планируем").
   • Мы также можем обратить внимание на использование модальных глаголов, таких как "will", "shall", "intend to", "aim to", которые сигнализируют о намерении что-то сделать в будущем.

2. Лексическая составляющая:

   • Некоторые слова и фразы явно указывают на будущее, например, "планируем", "намереваемся", "в будущем", "ожидаем".
   • Это может быть осуществлено анализом контекста предложения и идентификацией ключевых слов.

3. Контекст:

   • Кроме грамматики и лексики, важно обратить внимание на общую смысловую нагрузку предложения. Даже без использования будущего времени предложение может указывать на намерение или планы (например, "мы стремимся улучшить…").

Подходы к решению задачи

Традиционное программирование с использованием Python и библиотеки SpaCy

Учитывая вышеизложенное, можно написать функцию, которая будет определять, является ли предложение футуристическим, основываясь на грамматических и лексических характеристиках.

import pandas as pd
import spacy

# Загрузка модели SpaCy
nlp = spacy.load('en_core_web_sm')

# Функция для определения футуристичности предложения
def identify_futuristic(sentence):
    sentence_doc = nlp(sentence)

    # Проверка наличия футуристических маркеров
    is_futuristic = any("планируем" in token.lemma_ or 
                        "намереваемся" in token.lemma_ or
                        token.tag_ in ["MD", "VBZ"]  # Применительно к английскому
                        for token in sentence_doc)

    return 'F' if is_futuristic else 'NF'

# Чтение данных
with open("paragraph.txt", 'r') as f:
    content = f.read()

sentences = list(nlp(content).sents)
sentences_df = pd.DataFrame(sentences, columns=["Sentences"])

# Применение функции к датафрейму
sentences_df["F/NF"] = sentences_df["Sentences"].apply(identify_futuristic)

print(sentences_df)

Подход на основе машинного обучения

Если задача более сложная и требует высокой точности, можно рассмотреть использование моделей машинного обучения, таких как классификаторы, обученные на размеченных данных. Для этого можно использовать библиотеку scikit-learn.

1. Сбор данных: Необходимо собрать размеченные примеры предложений, чтобы тренировать модель.

2. Предобработка текстов: Примените TF-IDF или другие способы представления текста в векторе.

3. Настройка модели: Используйте Logistic Regression, Random Forest или любую другую подходящую модель для классификации.

4. Оценка модели: Определите точность на тестовых данных, и при необходимости произведите отладку.

Заключение

Независимо от подхода, который вы выберете, эффективная идентификация футуристических предложений требует внимательного анализа как лексики, так и структуры предложения. Использование Python и его библиотек, таких как SpaCy и scikit-learn, позволит вам реализовать мощное решение для этой задачи. Начинайте с простого анализа, а затем переходите к более сложным подходам.