nlp

Вопрос или проблема Я начинающий в машинном обучении. Мой проект заключается в создании поисковой системы на основе ИИ, которая показывает связанные статьи, когда мы ищем на сайте. Для этого я решил обучить свое собственное встраивание.

Вопрос или проблема ИЗМЕНЕНИЕ : Если бы мне нужно было сопоставить односоставные фразы, я мог бы сначала токенизировать текст из документа, а затем рассчитать косинусное сходство всех токенов со всеми ключевыми словами из keyword_list.

Вопрос или проблема Я видел несколько примеров использования CBOW в моделях нейронных сетей (хотя я их не понял). Я знаю, что Word2Vec не похож на BOW или TFIDF, так как для CBOW нет единственного значения, и все примеры, которые я видел, использовали нейронные сети.

Вопрос или проблема Я часто вижу некоторые работы, где авторы выполняют поэлементное умножение векторного представления слов и изображений (например, изображение ниже). Почему эта реализация работает? Я не понимаю. Модель более сложная, чем поэлементное

Вопрос или проблема Я хочу извлечь сущности, используя 5 списков сущностей, которые я собрал. Списки на Python содержат около миллиона элементов каждый. Списки следующие: национальность, организация, профессия, религия, хобби.

Вопрос или проблема Я исследовал языковые модели, которые могут работать с табличными данными. Моя основная цель – иметь модель, которая сможет отвечать на простые вопросы о моих данных. Примером может быть наличие данных о продажах домашних хозяйств

Вопрос или проблема Допустим, у меня есть база знаний, я разделил ее и сгенерировал вопрос-ответ с помощью qa_generator и отфильтровал с помощью qa_critic, так что у меня есть вопрос, ответ и контекст. Теперь, создавая систему rag (в частности, извлечение)

Вопрос или проблема В настоящее время я провожу исследование методов, которые решают проблемы классификации намерений и заполнения слотов в NLP. Одним из подходов, с которым я решил начать эксперименты, предложен в следующей статье: https://arxiv.

Вопрос или проблема Я пытаюсь сопоставить похожие n-граммы, используя Wordnet и синсеты. Например: старший брат и старший брат или сестра должны соответствовать одной сущности. Какой был бы лучший способ реализовать это? Я думал об этом и пока пришел

Вопрос или проблема Это может быть необычный вопрос. У меня есть ситуация, в которой я создаю перефразировки с помощью системы на основе правил. Одно преобразование, которое я хотел бы реализовать, избавляет от легких глаголов, как так: a) Стивен сделал

Вопрос или проблема Так что у меня есть несколько твитов из моей страны, и я хочу составить свой собственный список стоп-слов. Достаточно ли хорош tf-idf? Есть ли какие-либо статистические методы, которые были бы лучше? Оценки tf-idf являются нормализованными частотами.

Вопрос или проблема Это связано с извлечением информации. В реальных данных документы написаны в виде пунктов/нумерованных элементов. Например, Как создать сайт: - Получите DNS - Получите хостинг - Разверните WordPress или какой-то сайт .

Вопрос или проблема Есть ли у кого-то успешная реализация обучения с подкреплением для обработки естественного языка? Я ищу чат-ботов, которые могут учиться автоматически. Пытался искать в интернете, но нашел очень few статей, таких как Обучение с подкреплением

Вопрос или проблема Рассмотрим некоторые предложения ниже: “Обмен данными — это замечательная платформа, чтобы получить ответы на вопросы, связанные с наукой о данных, и она помогает изучать различные концепции тоже.”

Вопрос или проблема Я недавно задавал несколько вопросов на StackOverflow, последний из которых был Что не так с этими вычислениями взвешенной суммы Жаккара для сравнения произношения согласных кластеров? В чем я совершенно запутался, так это в основах

Вопрос или проблема Я хочу обучить простую нейронную сеть, у которой embedding_dim является параметром: class BoolQNN(nn.Module): def __init__(self, embedding_dim): super(BoolQNN, self).__init__() self.fc1 = nn.Linear(embedding_dim, 64) self.

Вопрос или проблема Я пытаюсь разобраться, как мне следует разработать “функцию вычисления аналогии”, которая будет вычислять сходство между двумя согласными или согласными кластеров. Текущий вопрос, который вы читаете, не о том, как на практике

Вопрос или проблема У меня есть неразмеченные данные рекламных писем. Я хочу категоризировать эти письма по темам, таким как мода, здоровье и благополучие, спорт, медиа, развлечения и т. д. Можете ли вы подсказать какой-либо эффективный метод или предобученную

Вопрос или проблема Я хочу классифицировать текстовые образцы длиной 500 символов на предмет того, похожи ли они на естественный язык, с помощью рекуррентной нейронной сети на уровне символов. Я не уверен, как лучше всего подавать входные данные в РНН.

Вопрос или проблема Я пытаюсь оценить вероятность генерации конкретного предложения из большого набора предложений. Для этого я начинаю с простого подхода: обучения пользовательской n-gram языковой модели и расчета значений перплексии для списка предложений.