transformer

Вопрос или проблема Я пытался написать генератор для модели DistillBertFast ## Генератор def _generator(text=train_texts, label=Y_oh_train, batch_size=1): # label = tf.ragged.constant(label) while True: for i in range(0,len(text),batch_size): yield dict(tokenizer(text[i:i+batch_size]

Вопрос или проблема Недавно я изучал модель Transformer, используя реализацию на Pytorch, но моя модель не сходилась. Я задумался, была ли проблема в моем коде или в чем-то еще. Поэтому я подумал, что если я “упрощу”

Вопрос или проблема Итак, в слое декодера трансформера, предположим, я предсказал 3 слова до сих пор, включая начальный токен, тогда последний слой декодера будет производить 3 вектора размера d-model, и только последний вектор пройдет через слой встраивания

Вопрос или проблема Признаки и целевая переменная в моем наборе данных сильно искажены. Мог ли кто-то объяснить, почему преобразование признаков и целевой переменной (я использую преобразование Йео-Джонсона) значительно улучшает производительность моей

Вопрос или проблема Могут ли модели-трансформеры использоваться для обучения чат-ботов? Примечание – Я говорю о модели трансформера, которую Google выпустил в статье “Внимание — это всё, что вам нужно” Трансформер — это просто нейронная сеть.

Вопрос или проблема Я тестировал предобученные модели Opus-MT, перенесенные в библиотеку transformers для реализации на Python. В частности, я использую opus-mt-en-fr для перевода с английского на французский. Токенизатор и модель перевода загружаются

Вопрос или проблема Я строю проект на основе генерации текста с использованием архитектуры трансформера. Я использовал токенизатор Huggingface для токенизации, мой набор данных – daily-dialog, а архитектура моей модели следующая: class languageModel(nn.

Вопрос или проблема Как говорит этот вопрос: В масштабированном внимании на основе скалярного произведения мы масштабируем наши выходные значения, деля скалярное произведение на квадратный корень из размерности матрицы: Причина, по которой это делается

Вопрос или проблема Я читал статью о Swin Transformer и наткнулся на концепцию относительного позиционного смещения. Я не могу понять, почему это более эффективно, чем позиционные эмбеддинги. Надеюсь, кто-то сможет объяснить это интуитивно. Заранее спасибо!

Вопрос или проблема Я создал простую нейронную сеть для бинарной классификации текста (спам/неспам) с использованием предобученного трансформера BERT. Текущая реализация на чистом Keras работает нормально. Однако я хотел построить график некоторых метрик

Вопрос или проблема У меня есть регрессионная модель с трансформером и некоторые данные о последних транзакциях пользователей (категориальные и числовые). Моя целевая переменная имеет экспоненциальное распределение со средним около 10e4 и также имеет

Вопрос или проблема Ударил здесь более 4 недель В настоящее время я имею дело с данными о продажах, имеющими несколько временных рядов (сотни), требование состоит в том, чтобы построить одну модель, которая может быть использована для прогнозирования продаж.

Вопрос или проблема Я работаю над классификацией временных рядов 2D изображений, наблюдаемых в нескольких фильтрах (или каналах), но не одновременно. Например, у меня есть наблюдения в двух фильтрах — g-диапазоне и r-диапазоне — сделанные в разные временные метки, см.

Вопрос или проблема Я новичок. Я попытался предварительно обучить и внедрить JPEG-LM с нуля с использованием Llama-2. Код можно найти здесь. Во время оценки и обучения он возвращает высокую точность, что может указывать на переобучение.

Вопрос или проблема Я использую Medical Transformer (https://github.com/jeya-maria-jose/Medical-Transformer) для сегментации ран, но хотел бы адаптировать его для сегментации трех различных классов: раны, дополнительный маркер и фон.

Вопрос или проблема Когда я попытался получить векторные представления слов для предложения с использованием bio_clinical bert, для предложения из 8 слов я получил 11 идентификаторов токенов (+начальный и конечный токены), потому что “

Вопрос или проблема Я использую архитектуру трансформера для предсказания будущих временных точек на основе предыдущих временных точек. Каждый элемент входной последовательности представляет собой вектор [ температура, время, солнечный свет ] Каждый элемент

Вопрос или проблема Я читал статью о LORA https://arxiv.org/pdf/2106.09685.pdf, и одна вещь, которую я не понимаю, это раздел 4.1, где обновления изменяются с помощью альфа, где альфа – это константа в r. Говорится, что альфа устанавливается на

Вопрос или проблема Я пытался понять архитектуру трансформера из работы “Всё, что вам нужно — это внимание”. Работа показывает следующую архитектуру трансформера: Как $K$ и $V$ извлекаются из выходных данных кодировщика размерности $512$ (которые

Вопрос или проблема В самовнимании внимание для слова вычисляется следующим образом: $$ A(q, K, V) = \sum_{i} \frac{exp(q.k^{<i>})}{\sum_{j} exp(q.k^{<j>})}v^{<i>} $$ Мой вопрос: почему мы суммируем векторы множественночности * Значение.