word-embeddings

Вопрос или проблема Я создаю теггер частей речи для нашего языка. Я передаю токены слова и теги, используя Tokenizer(). Функции для слова и тега разные. # кодировать Y tag_tokenizer = Tokenizer() tag_tokenizer.fit_on_texts(tags) Y_encoded = tag_tokenizer.

Вопрос или проблема Мои документы представляют собой всего лишь одно предложение, содержащее одну аннотацию. Предложения с одинаковой именованной сущностью, конечно, похожи, но не по контексту. Примеры обучения NER (насколько мне известно) всегда имеют

Вопрос или проблема Я начинающий в машинном обучении. Мой проект заключается в создании поисковой системы на основе ИИ, которая показывает связанные статьи, когда мы ищем на сайте. Для этого я решил обучить свое собственное встраивание.

Вопрос или проблема Для неконтролируемой кластеризации текста ключевым моментом является начальноеembedding для текста. Если мы хотим использовать deepcluster для текста, проблема для текста заключается в том, как получить начальноеembedding из глубокой модели.

Вопрос или проблема Я работаю над своей моделью распознавания именованных сущностей, которую создаю с помощью библиотеки Keras на Python. Я прочитал, что мне нужно перечислить все слова, которые появляются, чтобы получить векторизованные последовательности.

Вопрос или проблема Я слегка запутался в этом аспекте RNN, пытаясь понять, как работает seq2seq кодер-декодер на https://machinelearningmastery.com/configure-encoder-decoder-model-neural-machine-translation/. Мне кажется, что количество LSTM в кодере

Вопрос или проблема Мы пытаемся решить проблему, связанную с семантическим поиском в нашем наборе данных, т.е. у нас есть данные, специфичные для конкретной области (например: предложения, касающиеся автомобилей) Наши данные представляют собой просто

Вопрос или проблема Не могли бы вы объяснить, как мы получаем выходной слой в этой архитектуре (векторы [0.2, 0.8, -1.4, 1.2] и [-0.3, 0.2, -0.7, 0.1]). Я понимаю, что предыдущий слой — это встраивания слова “коричневый”

Вопрос или проблема Я собираюсь рассчитать точность подписи, сгенерированной путем сравнения ее с несколькими эталонными предложениями. Например, подписи для одного видео следующие: Эти подписи предназначены только для одного и того же видео.

Вопрос или проблема У меня есть очень простой вопрос относительно обучающей выборки в word2vec. В реализации skip-gram, обучающая выборка (если я правильно понимаю) генерируется в виде пар слов, как показано на этом изображении: Это, по сути, просто пары векторов one-hot.

Вопрос или проблема Я заметил, что модели NLP, такие как BERT, используют WordPiece для токенизации. В WordPiece мы разбиваем токены, например, playing на play и ##ing. Упоминается, что он охватывает более широкий спектр слов, находящихся вне словаря (OOV).

Вопрос или проблема Моя задача заключается в том, чтобы предсказать релевантные слова на основе короткого описания идеи. Например, “SQL — это язык, специфичный для домена, используемый в программировании и предназначенный для управления данными

Вопрос или проблема В двухслойных персептронах, которые скользят по словам текста, таких как word2vec и fastText, высоты скрытых слоев могут быть произведением двух случайных переменных, таких как позиционные эмбеддинги и эмбеддинги слов (Mikolov et al.

Вопрос или проблема Сейчас я изучаю тему генерации текста для своего университетского проекта. Я (конечно) решил использовать RNN, принимая последовательность токенов на входе с целью предсказать следующий токен, исходя из этой последовательности.

Вопрос или проблема Я пробую свои силы в обучении модели Word2Vec с использованием gensim. Я создал простой файл для обучения, который по сути содержал одну и ту же строку, повторенную несколько раз развлечения фильмы Фильмы кино развлечения Фильмы развлечения

Вопрос или проблема У меня есть научная база данных с статьями и соавторами. С помощью этой базы данных я обучаю модель word2vec на соавторах. Цель использования здесь заключается в разрешении неоднозначностей авторов. Мне интересно, можно ли улучшить

Вопрос или проблема Я пытаюсь обучить doc2vec на основе истории серфинга пользователей (URLs, привязанные к user_id). Я использую фреймворк глубокого обучения Chainer. Существует более 20 миллионов (user_id и URLs) векторов для инициализации, которые

Вопрос или проблема Итак, я новичок в области глубокого обучения и обработки естественного языка (NLP). Я прочитал несколько блогов на Medium, Towards Data Science и статьи, где говорится о предварительном обучении векторных представлений слов в несупервизорном

Вопрос или проблема Из этой статьи: В модели vanilla skip gram функция softmax является вычислительно очень затратной, так как требует сканирования всей матрицы выходных эмбеддингов (W_output) для вычисления вероятностного распределения всех V слов, где

Вопрос или проблема У меня есть два списка предложений A=["Astring1", "Astring2",...,"AstringN"] B=["Bstring1", "Bstring2",...,"BstringN"] Я использовал модель встраивания, такую как BERT, чтобы получить векторные представления всех моих строк в каждом