Data Science
ValueError: Слой модели ожидает 2 входа, но получил 3 входных тензора, используя генератор.
00
Вопрос или проблема Я пытаюсь подогнать модель с использованием генератора и получаю следующую ошибку: ValueError: Слой модели ожидает 2 входа, но получил 3 входных тензора. Полученные входы: [<tf.Tensor 'IteratorGetNext:0' shape=(None, None) dtype=float32>
Data Science
Как проводится оценка модели и повторное обучение после развертывания без меток истинного значения?
00
Вопрос или проблема Предположим, я развернул модель, вручную пометив истинные метки с моими обучающими данными, поскольку в данном случае нет способа получить истинные метки без участия человека. После развертывания модели, если я хотел бы оценить, как
Data Science
Как разделить данные для верификации говорящего с использованием AAM Softmax потерь?
00
Вопрос или проблема Существуют несколько моделей для задачи верификации спикеров (wavlm-ecapa / xvector / …). Некоторые из этих моделей были обучены с использованием AAM Softmax loss, который принимает количество меток на вход.
Data Science
Как извлекать значения из неструктурированного текста
00
Вопрос или проблема Я разрабатываю инструмент, который должен извлекать интересующие значения из неструктурированных текстовых записей. Набор данных состоит из несколько сотен тысяч медицинских записей. Каждая запись относительно короткая (около 100 символов).
Data Science
Недостаточная/избыточная выборка учит модель неправильному распределению?
00
Вопрос или проблема Суть: Обучение модели с использованием недо/пересемплирования в процессе обучения приведет к неправильному распределению и негативно скажется на точности? Предположим, вы хотите обучить классификатор для различения класса A и класса B.
Data Science
В Orange Data Mining, как я могу использовать результаты кластеризации обучающего набора для тестирования и оценки тестового набора?
00
Вопрос или проблема Я проводил анализ известного набора данных ‘Adult’, доступного на UCI, с использованием Orange Data Mining. В своей диссертации Pelleg (2004; стр. 79) использует неконтролируемую кластеризацию заданного обучающего набора
Data Science
Как заставить модель переобучиться
00
Вопрос или проблема Недавно я изучал модель Transformer, используя реализацию на Pytorch, но моя модель не сходилась. Я задумался, была ли проблема в моем коде или в чем-то еще. Поэтому я подумал, что если я “упрощу”
Data Science
Как разделить временной ряд на обучающую и тестовую выборки?
00
Вопрос или проблема У меня есть набор данных, состоящий из нескольких временных рядов для нескольких пользователей. У каждого пользователя есть несколько временных шагов, значение для предсказания на каждом временном шаге и список признаков на каждом временном шаге.
Data Science
Средние потери равны 0 при обучении модели на датасете с использованием darknet yolov4.
00
Вопрос или проблема В настоящее время я обучаю набор данных, используя yolov4 darknet от AlexeyAB на GitHub, который можно найти здесь: https://github.com/AlexeyAB/darknet Набор данных, который я обучаю, называется FishNet Open Images.
Data Science
Что вызывает взрывы в MSE при обучении?
00
Вопрос или проблема Я, вероятно, сильно переобучил модель. Но мне было просто любопытно, что может вызвать такое поведение. Я продолжал обучение (Эпоха 1/50 не первая эпоха обучения этой модели). Вы можете видеть, что среднеквадратичная ошибка (потери) очень низкая.
Data Science
Замена среднего на медиану по размеру партии, чтобы уменьшить влияние выбросов.
00
Вопрос или проблема В случае обучения нейронной сети на задаче регрессии. Предполагая, что в данных присутствует значительное количество выбросов. При условии, что ошибка должна измеряться по методу RMS, а не MAE. Может ли быть лучше (то есть менее чувствительно
Data Science
Создайте инструмент для ручной классификации изображений учебных данных.
00
Вопрос или проблема У меня есть большое количество изображений, которые мне нужно классифицировать для обучения алгоритма кластеризации, и я хотел бы сделать это офлайн (данные являются собственностью). По сути, я хотел бы создать настольный инструмент
Data Science
Bertopic с встраиванием: не удается использовать find_topic
00
Вопрос или проблема Я успешно использовал BERTopic для следующих задач: получение тем, визуализация (тем, столбчатых диаграмм, документов …) и DTM (расширенный для получения графика области с существенным успехом). Тем не менее, я не могу использовать функцию find_topics().
Data Science
Низкая дисперсия против высоких валидационных оценок
00
Вопрос или проблема Итак, я пытаюсь сравнить две модели, скажем, модель(1) имеет точность на обучении 90% и точность на валидации 86%, в то время как модель(2) имеет точность на обучении 87% и точность на валидации 85%. Теперь модель(1) имеет лучший результат
Data Science
несбалансированные данные в обучающей и тестовой выборках
00
Вопрос или проблема У меня уже есть 2 набора данных. Один для обучения и один для тестирования. Оба набора данных несбалансированы (с похожими процентами), с около 90% метки 1. Будет ли полезно сбалансировать данные, если тестовый набор в любом случае очень несбалансирован?
Data Science
Когда остановить обучение финальной модели?
00
Вопрос или проблема Предположим, я участвую в соревновании по распознаванию изображений на Kaggle. Во-первых, я создаю разделение на обучающую и валидационную выборки и нахожу хорошие гиперпараметры для своей модели. Здесь критерием остановки является
Data Science
Ошибка распределенного обучения с использованием Accelerate
00
Вопрос или проблема import datasets from accelerate import Accelerator,notebook_launcher from datasets import load_from_disk from transformers import AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq, PreTrainedTokenizerFast, Seq2SeqTrainingArguments, Seq2SeqTrainer
Data Science
В чем разница между сглаживающейся кривой валидации и такой, которая снова увеличивается?
00
Вопрос или проблема Я знаю, что мы отслеживаем потери на валидации для изучения переобучения. Мне известна кривая валидации, которая сначала уменьшается, а затем снова увеличивается. Увеличивающаяся часть означает, что модель начинает переобучаться.
Data Science
Обучите модель spaCy для семантического сходства.
00
Вопрос или проблема Я пытаюсь обучить модель spaCy с целью вычисления семантического сходства, но не получаю результатов, которых ожидал. Я создал два текстовых файла, которые содержат множество предложений с новым термином “
Data Science
Могут ли данные утекать из обучающего набора в тестовый набор, как и наоборот?
00
Вопрос или проблема Я спорил с моим коллегой по этому поводу. Мы знаем, что утечка данных становится проблемой, когда обучающие данные имеют возможность заглянуть в тестовые данные перед фазой тестирования. Но является ли это действительно проблемой