model-evaluations

Вопрос или проблема У меня есть временные ряды данных (доходность акций), и я обучаю на них регрессию случайного леса. Общее количество наблюдений = 2499. Чтобы лучше оценить производительность, я реализовал тестирование с прокатными окнами с размерами

Вопрос или проблема Я изучаю машинное обучение самостоятельно. Я применяю логистическую регрессию к набору данных о прогнозе погоды с Kaggle Weather_data. Цель состоит в том, чтобы предсказать дождь в соответствии с заданными признаками, и набор данных

Вопрос или проблема Я хотел бы сравнить методы рекомендаций, используя метрику NDCG на датасете MovieLens. В задаче ранжирования цель состоит в том, чтобы ранжировать предметы на основе их релевантности для пользователя. Модели ранжирования могут изучаться

Вопрос или проблема Следующий код представляет собой небольшой фрагмент, но я пытаюсь понять результаты model.fit с обучающим и тестовым наборами данных по сравнению с результатами model.evaluate. Я не уверен, что они не совпадают, или я не понимаю, как читать результаты?

Вопрос или проблема В Википедии говорится: “В двоичной классификации показатель recall называется чувствительностью” в разделе о Recall. Отличаются ли они в случае многоклассовой классификации? коротко: не совсем, recall и точность очень похожи

Вопрос или проблема Большинство вопросов о дисбалансе данных на этом сайте касаются того, как обучить лучшую модель, но я склонен считать, что другая проблема заключается в том, как определить “лучшую” модель (т.е.

Вопрос или проблема Как получить Accuracy, Detection_Rate, False_Positive_Rate и False_Negative_Rate для каждого класса? Например, все эти метрики для class_1, class_2, class_3 и т.д. Вот пример кода, который я использовал для вычисления точности классификатора

Вопрос или проблема При сравнении нескольких регрессионных моделей с точки зрения качества, кажется, что большинство согласны с MSE. Есть также статьи, сравнивающие “дисперсию” и “дисперсию, объясненную регрессией (VAF)”

Вопрос или проблема Как мы оцениваем работу модели регрессии с определенным RMSE, если отсутствует метрика производительности, основанная на знаниях о предмете? Возможно, MAPE — это один из способов сравнить производительность моей модели на моем наборе

Вопрос или проблема Я обучил свою модель впервые и провел инференс на случайных изображениях. Когда я попробовал случайное изображение, которое имеет аналогичную позицию камеры с моим набором данных, она хорошо справляется с обнаружением реки.

Вопрос или проблема У меня есть база данных, содержащая числовые данные о продуктах. Я использую различные модели для прогнозирования значения признака, например, ёмкости батареи ноутбука, с учётом других признаков, таких как размер, количество ядер процессора и т.

Вопрос или проблема Я провожу эксперименты с использованием контрольных наборов данных и auto-sklearn, чтобы увидеть, как его производительность отличается от стандартной библиотеки sklearn, поскольку automl выполняет исчерпывающий поиск по параметрам

Вопрос или проблема Я сейчас работаю с линейной регрессией для задачи регрессии временных рядов (извините, но я не могу рассказать слишком много о проблеме и векторе признаков из-за соглашения о неразглашении). Я масштабировал как входные значения, так

Вопрос или проблема Я работаю над задачей бинарной классификации. Я попытался оценить модель, построив ROC-кривую и рассчитав ROC AUC. Рассчитанный балл составляет 0.9115, но площадь кривой выглядит нереалистично для этого балла.

Вопрос или проблема У меня есть набор изображений, в котором 6300 изображений и 5 классов. Извлеченные признаки и набор данных уменьшены до 256 признаков. Этот набор данных дает хорошие результаты (99%) при тестировании ANN с обратным распространением (tensorflow).

Вопрос или проблема Я провожу обширный анализ сегментации клиентов и на данный момент реализовал модели гауссовских смесей, алгоритм K-средних и иерархическую кластеризацию. В большинстве случаев алгоритмы согласны по структуре кластеров и количеству (7-8).

Вопрос или проблема Как правило, я знаком с метриками оценки точности и полноты, но, как вы знаете, recall@k и precision@k – это разные вещи, используемые в оценках ранжирования, особенно в системах рекомендаций. Я проверил много источников, я понял

Вопрос или проблема У меня есть приложение, которое выполняет мою функцию foo() несколько раз для каждой сессии пользователя. Существуют 2 альтернативных алгоритма, которые я могу реализовать в качестве функции foo(), и моя цель — оценить их на основе задержки выполнения.

Вопрос или проблема У меня есть образец данных о расположении около 10 банкоматов, а также их количестве использования (внесения наличных, снятия наличных и других операций) за последние 3 месяца. Я планирую собрать дополнительные данные, такие как ближайшие

Вопрос или проблема Я использую catboost для задачи многоклассовой классификации. Я хочу использовать квадратный взвешенный каппа в качестве метрики оценки. Catboost уже имеет WKappa в качестве eval_metric, но это линейная взвешенная версия, а не квадратичная.