bert

Вопрос или проблема В эти последние дни я начал личный проект, в рамках которого хотел бы создать модель, которая, получив незавершенный эскиз, сможет его закончить. Я планировал использовать некоторые предварительно обученные модели, доступные в HuggingFace

Вопрос или проблема Я обучил классификатор для анализа настроений, используя архитектуру BERT. Мне удалось обучить классификатор, и я получаю точность проверки в 87%. Но всякий раз, когда я ввожу тестовые данные или простые предложения, такие как “

Вопрос или проблема Я работаю над задачей бинарной классификации текстов, используя модель BERT + CNN. Однако, судя по графикам потерь и точности во время обучения, кажется, что модель недостаточно обучается, и я не вижу значительных улучшений в производительности.

Вопрос или проблема Я хочу классифицировать здоровье пациента как вероятность прогноза и получить 10 самых больных пациентов в больнице. У меня есть заметки о состоянии пациента, медицинские заметки, заметки о диагнозах и лабораторные заметки за каждый день.

Вопрос или проблема Я недавно использовал пакет для выполнения Aspect-Based Sentiment Analysis (ABSA) с помощью модели BERT. Коротко, модель принимает два ввода: слова, которые составляют аспекты предложение, на котором мы хотим выполнить ABSA Модель

Вопрос или проблема Я пытаюсь найти больше информации о предварительно обученной модели distilbert-base-nli-mean-tokens. Может кто-нибудь, пожалуйста, указать мне на ее статью или документацию? Основана ли она на DistilBERT, дистиллированной версии BERT

Вопрос или проблема Мы можем классифицировать текст на положительный и отрицательный, как указано в приведенном ниже ноутбуке. Но есть ли способ классифицировать нейтральные чувства тоже? https://colab.research.google.com/github/google-research/bert/blob/master/predicting_movie_reviews_with_bert_on_tf_hub.

Вопрос или проблема Запуская код из этого ответа, мой BERT заканчивается для моего словаря из 4000 слов. Мне пока ничего не нужно делать с этими словами, просто создать эмбеддинги для моих данных. Итак, используя это именно: from transformers import BertModel

Вопрос или проблема Я использую TFBertForSequenceClassification от Huggingface для многометок «классификации твитов». Во время обучения модель достигает хорошей точности, но точность на валидации низкая. Я пытался решить проблему переобучения, использовав

Вопрос или проблема Мы донастраивали модель BERT (bert-base-uncased) с помощью набора данных CoLA для задачи классификации предложений. Набор данных представляет собой смесь предложений с грамматическими ошибками и без них. Донастроенная модель затем

Вопрос или проблема Я пытаюсь понять концепции в заголовке и как они соотносятся с задачей бинарной классификации. Согласно моему текущему пониманию, вы можете кодировать текст, используя различные методы извлечения признаков, такие как “

Вопрос или проблема Я пытался написать генератор для модели DistillBertFast ## Генератор def _generator(text=train_texts, label=Y_oh_train, batch_size=1): # label = tf.ragged.constant(label) while True: for i in range(0,len(text),batch_size): yield dict(tokenizer(text[i:i+batch_size]

Вопрос или проблема Допустим, моя языковая модель предварительно обучена на общем текстовом корпусе, и я хочу использовать её для какой-то конкретной задачи, для которой наборы данных также включены в общий корпус. Есть ли какие-либо опасения по поводу

Вопрос или проблема Я прочитал ответ на Quora, где специалист по НЛП указал, что использование вложений ELMO и BERT в качестве входных данных для LSTM или некоторой RNN сводит на нет назначение ELMo и BERT. Я не уверен, что согласен с этим утверждением.

Вопрос или проблема Я следовал шагам, чтобы ввести в модель dev, test, train.tsv, обучил ее, затем попытался классифицировать тестовые данные, и у меня только 1 признак, классификация бинарная, 1 или 0. Я предположил, что в моем test_results.

Вопрос или проблема Я успешно использовал BERTopic для следующих задач: получение тем, визуализация (тем, столбчатых диаграмм, документов …) и DTM (расширенный для получения графика области с существенным успехом). Тем не менее, я не могу использовать функцию find_topics().

Вопрос или проблема Я создал простую нейронную сеть для бинарной классификации текста (спам/неспам) с использованием предобученного трансформера BERT. Текущая реализация на чистом Keras работает нормально. Однако я хотел построить график некоторых метрик

Вопрос или проблема У меня есть небольшой набор данных (2000 образцов) заголовков газет и их забавных аналогов, где изменено только одно слово, чтобы звучало глупо, например: Оригинальный заголовок: Полицейский <офицер> арестован за злоупотребление

Вопрос или проблема У нас есть много специфических для домена данных (более 200 миллионов данных, каждый документ содержит от ~100 до ~500 слов), и мы хотели получить модель языка, специфическую для домена. Мы взяли несколько образцов данных (более 2

Вопрос или проблема Я совершенно нов в области машинного обучения и недавно познакомился с word2vec и BERT. Насколько я знаю, word2vec предоставляет векторное представление слов, но ограничен его словарным определением. Это означает, что алгоритм может