Data Science
Обработка данных в столбцах, когда 100% отсутствуют, но необходимо извлечь эти значения.
00
Вопрос или проблема У меня почти 20 признаков. Среди них некоторые категориальные, а некоторые числовые. Я уже преобразовал эти категориальные признаки в бинарное кодирование. Проблема в том, что среди 20 признаков два значения признаков (вся колонка) отсутствуют на 100%.
Data Science
Моя модель является переобученной?
00
Вопрос или проблема Я использую наивный байесовский классификатор для классификации датасета 20 новостных групп. Моя точность на обучающем наборе составляет 97, а на тестовом наборе – 89. Моя модель переобучена? Если да, что я могу сделать, чтобы
Data Science
Советы по обеспечению сходимости автокодировщика?
00
Вопрос или проблема В настоящее время я пытаюсь создать автоэнкодер, который сжимает 3D-объем, где каждое значение представляет собой плотность данного объема. Архитектура – это UNet без пропускных соединений. Оптимизатор –
Data Science
Набор данных имеет коэффициент асимметрии = 1 с пропущенными данными. Стандартное отклонение вокруг медианы равно 1,5. Сколько данных будет затронуто?
00
Вопрос или проблема Нет другой информации о данных, не указано, является ли оно унивариантным, бивариантным и т.д., также не указан тип распределения. Недавно я наткнулся на этот вопрос, мне бы хотелось узнать, как асимметрия влияет на процент не затронутых данных.
Data Science
Может ли __getitem__() в Dataset PyTorch возвращать случайный образец?
00
Вопрос или проблема Является ли __getitem()__ в Dataset PyTorch ограниченным в том, чтобы всегда возвращать один и тот же образец для одного и того же индекса? Я думаю, что образцы могут кэшироваться некоторыми задачами ниже по потоку, поэтому я неохотно
Data Science
Механика представления и шага тензоров Torch
00
Вопрос или проблема Я хочу, чтобы мой тензор с плавающей запятой размерности Mx2xN стал комплексным тензором размерности MxN. В этом минимальном примере я предоставляю матрицу 10×2, которая должна стать вектором [0+10j, 1+11j, 2+12k,…
Data Science
Классификация автомобилей с использованием предобученных моделей
00
Вопрос или проблема У меня есть множество изображений, и мне необходимо распознать на них некоторые объекты: Проанализировать тип транспортного средства (легковой автомобиль, грузовик, цистерна), марку, модель, цвет. Проверить, есть ли люди на изображении.
Data Science
Создание ансамблевой модели для высокой оценки F1
00
Вопрос или проблема У меня в настоящее время есть 2 алгоритма, которые выдают числовой результат. Используя порог 0,9, я получаю результаты классификации. Допустим, это: P (высокая точность, низкая полнота) R (высокая полнота, низкая точность) Каждый
Data Science
Тенсорфлоу с кодом на Питоне
00
Вопрос или проблема Я хочу интегрировать простой код на Python в граф TensorFlow. Я не уверен, возможно ли это. Если возможно, пожалуйста, предложите, как это интегрировать. Случай использования заключается в том, что я хочу передать выходной результат
Data Science
Входные данные Keras для многовариантной классификации с LSTM, используя текущие характеристики и характеристики предыдущих временных шагов и значения y.
00
Вопрос или проблема Я работаю над задачей многомерной бинарной классификации. Я хочу предсказать бинарную классификацию, учитывая признаки в текущий момент времени и данные (признаки + реальная классификация) из предыдущих моментов времени.
Data Science
Как направить приложение для работы с текстом на следование правилам из файла и извлечение данных из другого файла?
00
Вопрос или проблема Как обрабатывать сложные файлы RAG локально? Сложные файлы RAG Привет, я работаю над проектом, связанным с созданием чат-приложения на Streamlit, которое позволяет пользователям (владельцам проектов) продвигать свои проекты на различных
Data Science
Как использовать скрытые марковские модели для предсказания непрерывных значений
00
Вопрос или проблема У меня есть некоторые временные ряды, которые мне нужно использовать для прогноза непрерывного значения для данной временной метки. Изначально я использовал многомерную регрессионную модель, но позднее понял, что проблему, основанную
Data Science
Keras, повторное использование обучения сверточных слоев для обучения различных сглаженных слоев.
00
Вопрос или проблема Я хочу обучить ряд моделей, которые очень похожи; свёрточные слои одинаковые, но сглаженная часть различается. Например; разная плотность, изначально у меня есть model.add(Dense(512)), но я также хотел бы протестировать 1000 и 4096;
Data Science
Предобученная модель CNN делает плохие прогнозы на наборе тестовых изображений.
00
Вопрос или проблема Я пробовал использовать несколько предобученных моделей (MobileNet) для мультиклассовых предсказаний. У нас 42 класса, и распределение изображений равномерное по всем 42 классам. Вот мой код: base_model=MobileNet(weights="imagenet",include_top=False,input_shape
Data Science
Трудности в создании матрицы путаницы в R для “Да” или “Нет”
00
Вопрос или проблема Я новичок в регрессии и матрице ошибок и пытаюсь создать матрицу ошибок на основе модели логистической бинарной регрессии. Я пытаюсь создать матрицу ошибок из значений “Да” или “Нет”
Data Science
Как мониторить модели классификации машинного обучения в производстве?
00
Вопрос или проблема Я часто слышал о таких мерах, как индекс стабильности населения и индекс стабильности характеристик. Возможно, я ошибаюсь, но они, похоже, более применимы для анализа изменений в унивариантных распределениях и более линейны.
Data Science
Найдите и посчитайте похожие цены в каждом магазине и выведите максимальное количество и соответствующие строки.
00
Вопрос или проблема Моя цель: для каждого товара в каждом магазине найти количество товаров в том же магазине с разницей в цене в $2 (т.е. количество товаров с похожей ценой в том же магазине). Затем перечислить все товары, у которых наибольшее количество товаров.
Data Science
Возможно ли классифицировать документы корпуса с помощью меток?
00
Вопрос или проблема У меня есть корпус из 23000 документов, которые нужно классифицировать на 5 различных категорий. У меня нет доступных помеченных данных, только текстовые документы свободной формы и ярлыки (да, ярлыки из одного слова, не темы).
Data Science
Данные для обучения в анализе настроений
00
Вопрос или проблема Я занимаюсь анализом настроений твитов, связанных с недавним приобретением Twitter Илоном Маском. У меня есть корпус из 10 000 твитов, и я хотел бы использовать методы машинного обучения с использованием таких моделей, как SVM и линейная регрессия.
Data Science
image_dataset_from_directory с использованием подмножества подкаталогов
00
Вопрос или проблема Я загрузил набор данных MINC для классификации материалов, который состоит из 23 категорий. Однако меня интересует только подмножество категорий (например, [дерево, листвa, стекло, волосы]) Можно ли получить подмножество данных, используя tf.