nlp

Вопрос или проблема Итак, я новичок в области глубокого обучения и обработки естественного языка (NLP). Я прочитал несколько блогов на Medium, Towards Data Science и статьи, где говорится о предварительном обучении векторных представлений слов в несупервизорном

Вопрос или проблема Надеюсь, здесь можно задавать вопросы, но я ищу набор данных (формат не так важен), который похож на SQuAD, но также содержит ложные ответы на вопросы. Я хочу использовать его для дообучения GPT-3, и все, что я нахожу, это либо вопросы

Вопрос или проблема Я хочу обучить свое приложение для оценки схожести фраз. Я хочу, чтобы моя модель предсказывала коэффициент схожести для фраз, как показано в приведенных ниже примерах. пример- International Business Machines = I.

Вопрос или проблема Я пытаюсь создать языковую модель BiLSTM и испытываю некоторые проблемы. Модель class BiLSTM(nn.Module): def __init__(self, vocab_size, embedding_dim, hidden_dim, num_layers, dropout_rate, tie_weights): super().

Вопрос или проблема Я прочитал о RNN в PyTorch: RNN — документация PyTorch. Согласно документу, RNN выполняет следующую функцию: Я посмотрел другой пример RNN (из учебника PyTorch): NLP С НУЛЯ: КЛАССИФИКАЦИЯ ИМЕН С ПОМОЩЬЮ RNN УРОВНЯ СИМВОЛОВ.

Вопрос или проблема Предположим, у меня есть абзац, который объясняет травмы и их описания. Я хочу извлечь травмы и соответствующие им описания из текста. Как я могу это сделать? Например, абзац будет следующим: На мой взгляд, боль в шее вызвана травмой мягких тканей.

Вопрос или проблема Я работаю над проектом, связанным с судом. На определенном этапе мне нужно извлечь причину юридической компенсации. Например, рассмотрим эти предложения (из судебного отчета) Приказать мистеру Иксу выплатить 5000 евро в качестве компенсации

Вопрос или проблема До сих пор я использовал LDA только для моделирования тем. Мне хотелось бы узнать, какая самая простая реализация алгоритма LDA для задач классификации. Вы можете использовать LDA на ваших обучающих данных, чтобы построить их темпредставление

Вопрос или проблема Допустим, у меня есть несколько списков текстов, такие как: A = ["девочка", "женщина", "королева"] B = ["мальчик", "мужчина", "король"] C = ["пожарный", "строительный рабочий", "механик"] D = ["медсестра", "учитель начальных классов"

Вопрос или проблема Вот мой корпус { 0: "собаки милые", # собаки дружелюбные 1: "метисы добрые", # собаки дружелюбные 2: "псинки прекрасные", # собаки дружелюбные ..., 3: "кошки злые", # кошки недружелюбные 4: "могги противные", # кошки недружелюбные

Вопрос или проблема Из этой статьи: В модели vanilla skip gram функция softmax является вычислительно очень затратной, так как требует сканирования всей матрицы выходных эмбеддингов (W_output) для вычисления вероятностного распределения всех V слов, где

Вопрос или проблема Следуя этой лекции fast.ai, я пытаюсь понять механизм переноса обучения (Transfer Learning) в обработке естественного языка (NLP) от общего языкового моделирования (LM) к задаче классификации. Что именно берется из обучения языковой модели?

Вопрос или проблема Я работаю над обучением модели RNN для генерации подписей с помощью алгоритма REINFORCE. Я применяю стратегию самокритики (см. статью Self-critical Sequence Training for Image Captioning), чтобы уменьшить дисперсию.

Вопрос или проблема У меня есть список путей ко всем папкам в подпапке, и некоторые имена путей содержат слова “Chapetrs”, “Chapter”, “chapter” или даже “chaptser”. Я хочу обнаружить эти слова в путях и

Вопрос или проблема Я начинаю проект, в котором хочу извлекать ключевые слова из заданных сообщений. Ключевые слова, например, такие как: “жесткий диск”, “часы” или другие технические компоненты. Я работаю с набором данных, в котором

Вопрос или проблема У меня есть 2 скрипта – A.py и B.py, оба являются приложениями Flask. A.py отображает веб-страницу и служит в качестве пользовательского интерфейса для получения вводимых пользователем данных. B.py содержит основную логику и

Вопрос или проблема Я пытаюсь дообучить модель, используя API дообучения OpenAI. Я передаю тексты (например, статьи из газет) в качестве подсказок и данные, которые хочу получить, в качестве завершений. Рассмотрим следующее: если статья из газеты, которую

Вопрос или проблема Я пытаюсь сопоставить наборы слов с веб-сайтом, который имеет маркированные пункты, текст которых наиболее схож с ними. Я подумал, что можно сделать это следующим образом: собрать все документы из каждого маркированного пункта в один

Вопрос или проблема У меня есть предложения на естественном языке, как показано ниже: Это черный стул. Он находится рядом со столом. Каждая фраза, которая представляет объект, аннотирована идентификатором объекта. Например, в приведенном выше предложении