Data Science
Это хороший способ использовать отдельный валидационный набор с k-кратной перекрестной проверкой?
00
Вопрос или проблема Я обучаю CNN, и я разделил набор данных на 70% для обучения, 20% для валидации и 10% для тестирования. Я хочу использовать этот набор валидации для ранней остановки, чтобы избежать переобучения модели на каждой итерации обучения.
Data Science
Функция потерь для многометочного классифицирования с несколькими цифрами в MNIST
00
Вопрос или проблема Как следует из названия, я ищу функцию потерь для применения к модифицированному набору данных mnist, который содержит несколько цифр. Мне нужно предсказать все цифры на изображении. Каждое изображение содержит от 1 до 3 цифр, и каждая
Data Science
ValueError: (‘Истинное значение серии не однозначно после применения условия if/else в датафреймах Pandas
00
Вопрос или проблема Я хочу создать новую переменную для датафрейма details, названную lower, после итерации по нескольким data frames. list1 – это список строковых значений столбца с именем variable_name в details. vars_df –
Data Science
Сравнение между регрессионной моделью
00
Вопрос или проблема У меня есть одна папка, в которой содержится много файлов CSV, размеры которых составляют 24×25. Каждый файл CSV представляет собой данные за один день. Я выполняю следующую задачу: Случай 1: Рассмотрим следующий наивный классификатор
Data Science
функция потерь с фокусировкой помощь
00
Вопрос или проблема Я работаю над задачей извлечения и классификации отношений. Данные представлены в виде текстовых файлов. Данные несбалансированные. Я хочу использовать функцию потерь focal для решения проблемы несбалансированности классов в данных.
Data Science
Как вернуть предыдущие соседние индексы элементов, которые отсутствуют в тензоре?
00
Вопрос или проблема У меня есть два тензора в pytorch: tensorA=[0, 1, 2, 6, 7, 9, 10] и tensorB=[0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10] Как я могу использовать API тензоров (операции) pytorch, чтобы найти элементы в tensorB, которых нет в TensorA, а затем
Data Science
Обнаружены входные переменные с несоответствующим количеством образцов: [11232, 5616]
00
Вопрос или проблема Я не знаю, в чем причина ошибки, пожалуйста, помогите мне и подскажите, что делать. Я на стадии обучения. Похоже, что данные train и train_w2v имеют переменное количество строк. Вам нужно привести их формы к одному размеру перед разделением
Data Science
Модель рекомендации песен
00
Вопрос или проблема Я разработал систему рекомендаций песен с использованием косинусного сходства, основанную на жанре и аудиофичах. Модель рекомендует песни, похожие на ту, которую выбрал пользователь. Как я могу оценить точность этой модели?
Data Science
Создание собственного списка стоп-слов из определенного сообщества, достаточно ли tf-idf?
00
Вопрос или проблема Так что у меня есть несколько твитов из моей страны, и я хочу составить свой собственный список стоп-слов. Достаточно ли хорош tf-idf? Есть ли какие-либо статистические методы, которые были бы лучше? Оценки tf-idf являются нормализованными частотами.
Data Science
Шаги занимают слишком много времени для завершения
00
Вопрос или проблема Я пытаюсь обучить модель, которая, на мой взгляд, занимает слишком много времени по сравнению с другими наборами данных, поскольку для завершения одного шага требуется около 9 секунд. Я думаю, что проблема в том, что набор данных не
Data Science
Алгоритм машинного обучения для обнаружения аномалий в больших наборах событий.
00
Вопрос или проблема Начнем с следующих гипотетических предварительных условий: Есть трафик: нормальный и аномальный. Каждый образец трафика содержит список событий (переменного размера) События происходят в определенном порядке, возможный размер набора
Data Science
МЛ-подход для получения списка наблюдений с похожими признаками (дискретные + непрерывные)
00
Вопрос или проблема У меня есть набор данных с 19 тысячами наблюдений. Каждое из них имеет примерно 448 признаков: – Текстовое описание, переведенное в векторы размером 300 – 16 категориальных переменных, представленных числовым образом –
Data Science
Почему метод .fit() преобразует входные данные X в np.array?
00
Вопрос или проблема Почему метод (пользовательский) .fit() преобразует pd.DataFrame X в numpy.ndarray? import pandas as pd import numpy as np from sklearn.pipeline import make_pipeline from sklearn.compose import TransformedTargetRegressor, make_column_transformer
Data Science
Наивный байесовский классификатор всегда предсказывает одну и ту же метку
00
Вопрос или проблема Я пытался написать классификатор наивного байеса с нуля, который должен предсказать класс метки набора данных nominal car.arff. Однако классификатор всегда предсказывает самый распространенный класс. Я попробовал логарифмические вероятности
Data Science
Биномиальный тест для данных с 3 переменными
00
Вопрос или проблема Я собрал данные, которые выглядят так: Компания А Компания Б Компания В Отдел Женщины Мужчины Женщины Мужчины Женщины Мужчины Искусство 98 2 95 5 80 20 Инженерия 2 98 30 70 10 90 Уборка 100 0 90 10 70 30 Теперь мой учитель попросил
Data Science
Анализ распределения вероятностей каждого признака и машинное обучение
00
Вопрос или проблема Хотя я знаю, что вероятностные распределения предназначены для проверки гипотез, построения доверительных интервалов и т. д., они определенно играют множество ролей в статистическом анализе. Тем не менее, мне не очевидно, как вероятностные
Data Science
Получение ответов на пункты (нумерованные элементы) из текста с помощью NLP
00
Вопрос или проблема Это связано с извлечением информации. В реальных данных документы написаны в виде пунктов/нумерованных элементов. Например, Как создать сайт: - Получите DNS - Получите хостинг - Разверните WordPress или какой-то сайт .
Data Science
Обучение с подкреплением в обработке естественного языка для чат-ботов
00
Вопрос или проблема Есть ли у кого-то успешная реализация обучения с подкреплением для обработки естественного языка? Я ищу чат-ботов, которые могут учиться автоматически. Пытался искать в интернете, но нашел очень few статей, таких как Обучение с подкреплением
Data Science
Как исправить левостороннюю и правостороннюю асимметрию.
00
Вопрос или проблема Я знаю, что левый и правый скошенность означает, что у него длинный хвост либо слева (левая скошенность), либо справа (правая скошенность). Однако приведённый ниже пример является примером правой скошенности.
Data Science
Вычислите функцию ранга из регрессионных признаков.
00
Вопрос или проблема Я использую 3 признака (x1, x2, x3) для регрессии. Некоторые из моих признаков являются непрерывными, а некоторые – категориальными. Моя зависимая переменная – это количество бронирований. И я могу предсказать количество бронирований.