nlp

Вопрос или проблема Я хочу обучить простую нейронную сеть, у которой embedding_dim является параметром: class BoolQNN(nn.Module): def __init__(self, embedding_dim): super(BoolQNN, self).__init__() self.fc1 = nn.Linear(embedding_dim, 64) self.

Вопрос или проблема Я пытаюсь разобраться, как мне следует разработать “функцию вычисления аналогии”, которая будет вычислять сходство между двумя согласными или согласными кластеров. Текущий вопрос, который вы читаете, не о том, как на практике

Вопрос или проблема У меня есть неразмеченные данные рекламных писем. Я хочу категоризировать эти письма по темам, таким как мода, здоровье и благополучие, спорт, медиа, развлечения и т. д. Можете ли вы подсказать какой-либо эффективный метод или предобученную

Вопрос или проблема Я хочу классифицировать текстовые образцы длиной 500 символов на предмет того, похожи ли они на естественный язык, с помощью рекуррентной нейронной сети на уровне символов. Я не уверен, как лучше всего подавать входные данные в РНН.

Вопрос или проблема Я пытаюсь оценить вероятность генерации конкретного предложения из большого набора предложений. Для этого я начинаю с простого подхода: обучения пользовательской n-gram языковой модели и расчета значений перплексии для списка предложений.

Вопрос или проблема Я слегка запутался в этом аспекте RNN, пытаясь понять, как работает seq2seq кодер-декодер на https://machinelearningmastery.com/configure-encoder-decoder-model-neural-machine-translation/. Мне кажется, что количество LSTM в кодере

Вопрос или проблема Не могли бы вы объяснить, как мы получаем выходной слой в этой архитектуре (векторы [0.2, 0.8, -1.4, 1.2] и [-0.3, 0.2, -0.7, 0.1]). Я понимаю, что предыдущий слой — это встраивания слова “коричневый”

Вопрос или проблема Моя цель – предсказать наиболее подходящий ответ на высказывание из группы из 21 потенциального ответа. (Я не уверен, что “вопрос” называется высказыванием, хотя.) Пример: Высказывание: Как ты сегодня? Ответы: Ответ1, 2, …

Вопрос или проблема По крайней мере, в первом слое самовнимания в кодировщике входные данные имеют соответствие с выходными, у меня есть следующие вопросы. Неужели порядок уже неявно захватывается векторами запросов, которые сами по себе являются просто

Вопрос или проблема Я собираюсь рассчитать точность подписи, сгенерированной путем сравнения ее с несколькими эталонными предложениями. Например, подписи для одного видео следующие: Эти подписи предназначены только для одного и того же видео.

Вопрос или проблема Я ищу библиотеку, которая конвертирует pdf в json. В этом json заголовок абзаца является ключом, а значение – это содержание абзаца. Есть ли такая библиотека для Python? Я уже использую pdfminer, но она просто конвертирует в обычный текст.

Вопрос или проблема У меня есть очень простой вопрос относительно обучающей выборки в word2vec. В реализации skip-gram, обучающая выборка (если я правильно понимаю) генерируется в виде пар слов, как показано на этом изображении: Это, по сути, просто пары векторов one-hot.

Вопрос или проблема Как мы называем кодировщик-декодер с 0 слоями кодировщика и поперечной внимательностью слоев декодера, направленной на выходы слоя встраивания кодировщика? 0-N Кодировщик-декодер Только декодер с поперечной внимательностью Prefix-LM

Вопрос или проблема Я использовал предобученный BERT с Focal Loss для классификации физики, химии, биологии и математики и получил хороший макрос F-1 0.91. Это неплохо, учитывая, что ему нужно было искать токены, такие как triangle, reaction, mitochondria и newton и т.

Вопрос или проблема В принципе, это то же самое, что это, но для Java (и желательно для нескольких языков) (например, индекс читаемости Флеша, индекс SMOG, уровень Флеша-Кинкейда, индекс Коулмана-Лиу, автоматический индекс читаемости, оценка читаемости

Вопрос или проблема Я читаю приложение A к книге Юрафски о скрытых моделях Маркова, и он упоминает модель Маркова, представляющую биграммную модель с учетом предположения Маркова. Эта цепь Маркова должна быть знакома; на самом деле, она представляет собой

Вопрос или проблема В классификации предложений с использованием предварительно обученных эмбеддингов (fasttext) в CNN, как CNN предсказывает категорию предложения, если слова не были в обучающем наборе? Я думаю, что обученная модель содержит веса, эти

Вопрос или проблема Как мне обучить/адаптировать модель по частям, чтобы избежать ужасной ошибки памяти? def TFIDF(X_train, X_test, MAX_NB_WORDS=75000): vectorizer_x = TfidfVectorizer(max_features=MAX_NB_WORDS) X_train = vectorizer_x.

Вопрос или проблема Я заметил, что модели NLP, такие как BERT, используют WordPiece для токенизации. В WordPiece мы разбиваем токены, например, playing на play и ##ing. Упоминается, что он охватывает более широкий спектр слов, находящихся вне словаря (OOV).

Вопрос или проблема Я генерирую биграмы с помощью from gensim.models.phrases, которые буду использовать далее с TF-IDF и/или gensim.LDA from gensim.models.phrases import Phrases, Phraser # 7k документов, ~500-1k токенов каждый.