roc

Вопрос или проблема Я студент, работающий над созданием предиктивной модели. Оценивая разные модели, я заметил, что в некоторых случаях AUC составляет около 0.75, но ROC-кривая располагается ниже линии случайного предположения.

Вопрос или проблема Я запускаю модель, которая генерирует обнаружения песен с коэффициентом уверенности. Затем я проверяю ее на аннотированном наборе данных. После этого я строю график значений TPR и FPR при каждом пороге уверенности, начиная с 0 до 1 с шагом 0.

Вопрос или проблема Я вижу повсюду, что когда набор данных несбалансирован, PR-AUC является лучшим показателем производительности, чем ROC. Из моего опыта, если положительный класс является наиболее важным и в наборе данных процент положительного класса

Вопрос или проблема Я работаю над задачей бинарной классификации. Я попытался оценить модель, построив ROC-кривую и рассчитав ROC AUC. Рассчитанный балл составляет 0.9115, но площадь кривой выглядит нереалистично для этого балла.

Вопрос или проблема Я работаю с несбалансированным набором данных. В обучающем наборе данных 11567 отрицательных и 3737 положительных образцов. В валидационном наборе данных 2892 отрицательных и 935 положительных образцов. Это задача бинарной классификации