Как использовать текст в качестве входных данных для нейронной сети – задача регрессии? Сколько лайков/апплодисментов получит статья?

Я пытаюсь предсказать количество лайков, которые статья или пост получит, используя нейронную сеть.

У меня есть датафрейм с ~70,000 строк и 2 столбцами: “text” (предиктор – строки текста) и “likes” (целевая переменная – непрерывная целая переменная). Я читал о подходах, которые используются в задачах обработки естественного языка, но я не совсем уверен, как должен выглядеть ввод для нейронной сети.

Вот что я сделал до сих пор:

1. Очистка текста: удаление html-тегов, стоп-слов, знаков препинания и т.д…
2. Приведение текста к нижнему регистру
3. Токенизация
4. Лемматизация
5. Стемминг

Я присвоил результаты новому столбцу, так что теперь у меня есть столбец “clean_text” с применением всего вышеперечисленного. Однако я не уверен, как двигаться дальше.

В большинстве задач обработки естественного языка я заметил, что люди используют векторные представления слов, но, судя по тому, что я понял, это метод, используемый при попытке предсказать следующее слово в тексте. Обучение векторных представлений создает векторы для слов, которые похожи друг на друга с точки зрения синтаксиса, и я не вижу, как это можно использовать для извлечения веса/влияния каждого слова на целевую переменную в моем случае.

Кроме того, когда я пытался сгенерировать модель векторных представлений слов с помощью библиотеки Gensim, это привело к получению более чем 50k слов, что, по моему мнению, сделает кодирование one-hot слишком трудным или даже невозможным. Даже в этом случае мне придется закодировать каждую строку one-hot, а затем создать паддинг, чтобы все строки были схожей длины для подачи в модель нейронной сети, но длина каждой строки в новом столбце “clean_text” значительно варьируется, так что это приведет к образованию очень больших матриц one-hot encoding, которые в некотором смысле избыточны.

Неужели я подхожу к этому совершенно неправильно? и что мне следует делать?

Судя по тому, что я понял, это метод, используемый при попытке предсказать следующее слово в тексте.

Не совсем так, Word2vec – это техника, позволяющая представлять (относительное) значение слов таким образом, чтобы их можно было использовать в модели машинного обучения. Вы можете использовать их как языковые модели, т.е. для предсказания следующего слова в последовательности, но это лишь одно из возможных применений этой техники. Модель Word2vec подходит в вашем случае.

Обучение векторных представлений создает векторы для слов, которые похожи друг на друга с точки зрения синтаксиса, и я не вижу, как это можно использовать для извлечения веса/влияния каждого слова на целевую переменную в моем случае.

Я не знаю вашу задачу достаточно хорошо, но я бы сказал, что вам нужна дополнительная информация. Например: информация о аккаунте, такая как количество подписчиков, лайков, репостов/ретвитов и т.д.

Кроме того, когда я пытался сгенерировать модель векторных представлений слов с помощью библиотеки Gensim, это привело к получению более чем 50k слов, что, по моему мнению, сделает кодирование one-hot слишком трудным или даже невозможным.

Gensim требует список слов/токенов (в форме строк), и модель word2vec позаботится обо всем остальном для вас. Вам не нужно вручную кодировать все слова в one-hot. Не беспокойтесь об этом.

Мне придется закодировать каждую строку one-hot, а затем создать паддинг, чтобы все строки были схожей длины для подачи в модель нейронной сети, но длина каждой строки в новом столбце “clean_text” значительно варьируется, так что это приведет к образованию очень больших матриц one-hot encoding, которые в некотором смысле избыточны.

Я не совсем понимаю, что вы сделали здесь, но я уверен, что это неправильно. Вам не нужно вручную кодировать что-либо в one-hot. Более важно, что кодирование строк one-hot не имеет смысла, зачем это делать?

Ключевая проблема в обработке естественного языка заключается в кодировании текста в численное представление. Для этой цели используются векторные представления.

векторные представления слов […] это метод, используемый при попытке предсказать следующее слово в тексте

Не совсем. Векторное представление – это преобразование разряженных данных в плотное пространство. Это часто используется в обработке естественного языка, чтобы учитывать схожесть между словами. Предсказание следующего слова (на основе предыдущих слов и другой информации) – это языковая модель.

как [векторные представления] могут быть использованы для извлечения веса/влияния каждого слова на целевую переменную в моем случае

Подумайте об одном альтернативном способе представления текста численно: кодирование one-hot, где каждое слово – это длинный вектор (размер вашего словаря), состоящий из нулей повсюду, кроме индекса, представляющего это слово. Представление векторов, будучи плотным, гораздо более информативно: рассмотрим случай “похожих” слов (или, более конкретно, слов, используемых в похожем контексте): векторное представление будет рассматривать “собака” и “волк” как похожие векторы, тогда как в кодировании one-hot они будут считаться независимыми, так же как “собака” и “независимость” (это просто примеры).

Подайте тексты через трансформер предложений (без предварительной обработки, если это естественный язык), получите векторное представление и добавьте классификационную голову, которая классифицирует на низкий, средний и высокий (или любую другую бинаризованную версию цели). Рассматривая это как задачу классификации, вы сразу увидите, что вам придется учитывать дисбаланс классов.