training
Data Science
Вопрос или проблема Я пытаюсь подогнать модель с использованием генератора и получаю следующую ошибку: ValueError: Слой модели ожидает 2 входа, но получил 3 входных тензора. Полученные входы: [<tf.Tensor 'IteratorGetNext:0' shape=(None, None) dtype=float32>
Data Science
Вопрос или проблема Предположим, я развернул модель, вручную пометив истинные метки с моими обучающими данными, поскольку в данном случае нет способа получить истинные метки без участия человека. После развертывания модели, если я хотел бы оценить, как
Data Science
Вопрос или проблема Существуют несколько моделей для задачи верификации спикеров (wavlm-ecapa / xvector / …). Некоторые из этих моделей были обучены с использованием AAM Softmax loss, который принимает количество меток на вход.
Data Science
Вопрос или проблема Я разрабатываю инструмент, который должен извлекать интересующие значения из неструктурированных текстовых записей. Набор данных состоит из несколько сотен тысяч медицинских записей. Каждая запись относительно короткая (около 100 символов).
Data Science
Вопрос или проблема Суть: Обучение модели с использованием недо/пересемплирования в процессе обучения приведет к неправильному распределению и негативно скажется на точности? Предположим, вы хотите обучить классификатор для различения класса A и класса B.
Data Science
Вопрос или проблема Я проводил анализ известного набора данных ‘Adult’, доступного на UCI, с использованием Orange Data Mining. В своей диссертации Pelleg (2004; стр. 79) использует неконтролируемую кластеризацию заданного обучающего набора
Data Science
Вопрос или проблема Недавно я изучал модель Transformer, используя реализацию на Pytorch, но моя модель не сходилась. Я задумался, была ли проблема в моем коде или в чем-то еще. Поэтому я подумал, что если я “упрощу”
Data Science
Вопрос или проблема У меня есть набор данных, состоящий из нескольких временных рядов для нескольких пользователей. У каждого пользователя есть несколько временных шагов, значение для предсказания на каждом временном шаге и список признаков на каждом временном шаге.
Data Science
Вопрос или проблема В настоящее время я обучаю набор данных, используя yolov4 darknet от AlexeyAB на GitHub, который можно найти здесь: https://github.com/AlexeyAB/darknet Набор данных, который я обучаю, называется FishNet Open Images.
Data Science
Вопрос или проблема Я, вероятно, сильно переобучил модель. Но мне было просто любопытно, что может вызвать такое поведение. Я продолжал обучение (Эпоха 1/50 не первая эпоха обучения этой модели). Вы можете видеть, что среднеквадратичная ошибка (потери) очень низкая.
Data Science
Вопрос или проблема В случае обучения нейронной сети на задаче регрессии. Предполагая, что в данных присутствует значительное количество выбросов. При условии, что ошибка должна измеряться по методу RMS, а не MAE. Может ли быть лучше (то есть менее чувствительно
Data Science
Вопрос или проблема У меня есть большое количество изображений, которые мне нужно классифицировать для обучения алгоритма кластеризации, и я хотел бы сделать это офлайн (данные являются собственностью). По сути, я хотел бы создать настольный инструмент
Data Science
Вопрос или проблема Я успешно использовал BERTopic для следующих задач: получение тем, визуализация (тем, столбчатых диаграмм, документов …) и DTM (расширенный для получения графика области с существенным успехом). Тем не менее, я не могу использовать функцию find_topics().
Data Science
Вопрос или проблема Итак, я пытаюсь сравнить две модели, скажем, модель(1) имеет точность на обучении 90% и точность на валидации 86%, в то время как модель(2) имеет точность на обучении 87% и точность на валидации 85%. Теперь модель(1) имеет лучший результат
Data Science
Вопрос или проблема У меня уже есть 2 набора данных. Один для обучения и один для тестирования. Оба набора данных несбалансированы (с похожими процентами), с около 90% метки 1. Будет ли полезно сбалансировать данные, если тестовый набор в любом случае очень несбалансирован?
Data Science
Вопрос или проблема Предположим, я участвую в соревновании по распознаванию изображений на Kaggle. Во-первых, я создаю разделение на обучающую и валидационную выборки и нахожу хорошие гиперпараметры для своей модели. Здесь критерием остановки является
Data Science
Вопрос или проблема import datasets from accelerate import Accelerator,notebook_launcher from datasets import load_from_disk from transformers import AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq, PreTrainedTokenizerFast, Seq2SeqTrainingArguments, Seq2SeqTrainer
Data Science
Вопрос или проблема Я знаю, что мы отслеживаем потери на валидации для изучения переобучения. Мне известна кривая валидации, которая сначала уменьшается, а затем снова увеличивается. Увеличивающаяся часть означает, что модель начинает переобучаться.
Data Science
Вопрос или проблема Я пытаюсь обучить модель spaCy с целью вычисления семантического сходства, но не получаю результатов, которых ожидал. Я создал два текстовых файла, которые содержат множество предложений с новым термином “
Data Science
Вопрос или проблема Я спорил с моим коллегой по этому поводу. Мы знаем, что утечка данных становится проблемой, когда обучающие данные имеют возможность заглянуть в тестовые данные перед фазой тестирования. Но является ли это действительно проблемой