nlp

Вопрос или проблема Я работаю над задачей многоклассовой классификации последовательностей. Мой набор данных состоит из последовательностей данных различной длины. Например, 1500 размеченных образцов: 500 точек данных принадлежат классу A, 500 классу B и 500 классу C.

Вопрос или проблема Я рассчитала косинусное сходство между двумя документами очень простым способом, используя векторизацию TF-IDF в Python. Мне нужно визуализировать документы в виде векторного графика в 3D-пространстве. Как это, Вот код, который я использовала

Вопрос или проблема Мои документы представляют собой всего лишь одно предложение, содержащее одну аннотацию. Предложения с одинаковой именованной сущностью, конечно, похожи, но не по контексту. Примеры обучения NER (насколько мне известно) всегда имеют

Вопрос или проблема Я работаю над проектом, цель которого – определить название болезни из разных предложений. Мне нужны некоторые советы. Я ищу библиотеки, из которых я могу получить список названий болезней, чтобы по крайней мере обнаружить болезнь в своем датафрейме.

Вопрос или проблема Я пытался понять архитектуру трансформера из работы “Всё, что вам нужно — это внимание”. Работа показывает следующую архитектуру трансформера: Как $K$ и $V$ извлекаются из выходных данных кодировщика размерности $512$ (которые

Вопрос или проблема Я начинающий в машинном обучении. Мой проект заключается в создании поисковой системы на основе ИИ, которая показывает связанные статьи, когда мы ищем на сайте. Для этого я решил обучить свое собственное встраивание.

Вопрос или проблема ИЗМЕНЕНИЕ : Если бы мне нужно было сопоставить односоставные фразы, я мог бы сначала токенизировать текст из документа, а затем рассчитать косинусное сходство всех токенов со всеми ключевыми словами из keyword_list.

Вопрос или проблема Я видел несколько примеров использования CBOW в моделях нейронных сетей (хотя я их не понял). Я знаю, что Word2Vec не похож на BOW или TFIDF, так как для CBOW нет единственного значения, и все примеры, которые я видел, использовали нейронные сети.

Вопрос или проблема Я часто вижу некоторые работы, где авторы выполняют поэлементное умножение векторного представления слов и изображений (например, изображение ниже). Почему эта реализация работает? Я не понимаю. Модель более сложная, чем поэлементное

Вопрос или проблема Я хочу извлечь сущности, используя 5 списков сущностей, которые я собрал. Списки на Python содержат около миллиона элементов каждый. Списки следующие: национальность, организация, профессия, религия, хобби.

Вопрос или проблема Я исследовал языковые модели, которые могут работать с табличными данными. Моя основная цель – иметь модель, которая сможет отвечать на простые вопросы о моих данных. Примером может быть наличие данных о продажах домашних хозяйств

Вопрос или проблема Допустим, у меня есть база знаний, я разделил ее и сгенерировал вопрос-ответ с помощью qa_generator и отфильтровал с помощью qa_critic, так что у меня есть вопрос, ответ и контекст. Теперь, создавая систему rag (в частности, извлечение)

Вопрос или проблема В настоящее время я провожу исследование методов, которые решают проблемы классификации намерений и заполнения слотов в NLP. Одним из подходов, с которым я решил начать эксперименты, предложен в следующей статье: https://arxiv.

Вопрос или проблема Я пытаюсь сопоставить похожие n-граммы, используя Wordnet и синсеты. Например: старший брат и старший брат или сестра должны соответствовать одной сущности. Какой был бы лучший способ реализовать это? Я думал об этом и пока пришел

Вопрос или проблема Это может быть необычный вопрос. У меня есть ситуация, в которой я создаю перефразировки с помощью системы на основе правил. Одно преобразование, которое я хотел бы реализовать, избавляет от легких глаголов, как так: a) Стивен сделал

Вопрос или проблема Так что у меня есть несколько твитов из моей страны, и я хочу составить свой собственный список стоп-слов. Достаточно ли хорош tf-idf? Есть ли какие-либо статистические методы, которые были бы лучше? Оценки tf-idf являются нормализованными частотами.

Вопрос или проблема Это связано с извлечением информации. В реальных данных документы написаны в виде пунктов/нумерованных элементов. Например, Как создать сайт: - Получите DNS - Получите хостинг - Разверните WordPress или какой-то сайт .

Вопрос или проблема Есть ли у кого-то успешная реализация обучения с подкреплением для обработки естественного языка? Я ищу чат-ботов, которые могут учиться автоматически. Пытался искать в интернете, но нашел очень few статей, таких как Обучение с подкреплением

Вопрос или проблема Рассмотрим некоторые предложения ниже: “Обмен данными — это замечательная платформа, чтобы получить ответы на вопросы, связанные с наукой о данных, и она помогает изучать различные концепции тоже.”

Вопрос или проблема Я недавно задавал несколько вопросов на StackOverflow, последний из которых был Что не так с этими вычислениями взвешенной суммы Жаккара для сравнения произношения согласных кластеров? В чем я совершенно запутался, так это в основах