Вопрос или проблема
У меня есть матрица путаницы
TN= 27 FP=20
FN =11 TP=6
Я хочу рассчитать взвешенное среднее для точности, чувствительности и специфичности. Я знаю уравнение, но не уверен, как выполнить взвешенные средние.
Учитывая, что:
Взвешенное среднее точности, полноты, f1-меры, специфичности можно рассчитать с помощью:
У меня есть некоторые коды, вы можете проверить это, и полные ссылки:
Ответ или решение
Взвешенная точность, чувствительность и специфичность: глубокий анализ
В рамках анализа эффективности классификаторов важным этапом является оценка таких метрик, как точность, чувствительность (или полнота) и специфичность. Эти метрики дают представление о том, насколько хорошо модель распознает различные классы. В данном случае мы начинаем с матрицы ошибок, которая содержит следующие значения:
- TN (True Negatives): 27
- FP (False Positives): 20
- FN (False Negatives): 11
- TP (True Positives): 6
Метрики производительности
-
Точность (Accuracy):
Точность отражает долю правильно предсказанных классов среди всех предсказаний. Формула для точности:[
\text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}
]
Подставляя наши значения:
[
\text{Accuracy} = \frac{6 + 27}{6 + 27 + 20 + 11} = \frac{33}{64} \approx 0.5156 (51.56\%)
] -
Чувствительность (Sensitivity):
Чувствительность показывает, насколько хорошо модель распознает положительный класс. Расчёт производится по следующей формуле:[
\text{Sensitivity} = \frac{TP}{TP + FN}
]
Расчёт:
[
\text{Sensitivity} = \frac{6}{6 + 11} = \frac{6}{17} \approx 0.3529 (35.29\%)
] -
Специфичность (Specificity):
Специфичность определяет, насколько хорошо модель распознает отрицательный класс. Формула:[
\text{Specificity} = \frac{TN}{TN + FP}
]
Расчёт:
[
\text{Specificity} = \frac{27}{27 + 20} = \frac{27}{47} \approx 0.5745 (57.45\%)
]
Взвешенные метрики
Взвешенные средние метрики применяются для учёта дисбаланса классов. Реализуется это путём умножения каждой метрики на долю соответствующего класса.
Для расчёта взвешенных средних, сначала нам необходимо определить доли каждого класса. Для этого вычтем количество каждого класса из общего количества:
- Общее количество: (TP + TN + FP + FN = 64)
- Доля положительного класса (Positive Class):
[
\text{Positive Class} = TP + FN = 6 + 11 = 17 \quad \Rightarrow \quad \text{Weight}_{\text{pos}} = \frac{17}{64}
] - Доля отрицательного класса (Negative Class):
[
\text{Negative Class} = TN + FP = 27 + 20 = 47 \quad \Rightarrow \quad \text{Weight}_{\text{neg}} = \frac{47}{64}
]
Теперь мы можем рассчитывать взвешенные метрики:
-
Взвешенная точность:
[
\text{Weighted Accuracy} = \text{Weight}{\text{pos}} \cdot \text{Sensitivity} + \text{Weight}{\text{neg}} \cdot \text{Specificity}
]
[
= \frac{17}{64} \cdot 0.3529 + \frac{47}{64} \cdot 0.5745 \approx 0.3375 (33.75\%)
] -
Взвешенная чувствительность:
[
\text{Weighted Sensitivity} = \text{Weight}_{\text{pos}} \cdot \text{Sensitivity}
]
[
\approx \frac{17}{64} \cdot 0.3529 \approx 0.0935 (9.35\%)
] -
Взвешенная специфичность:
[
\text{Weighted Specificity} = \text{Weight}_{\text{neg}} \cdot \text{Specificity}
]
[
\approx \frac{47}{64} \cdot 0.5745 \approx 0.4358 (43.58\%)
]
Заключение
Теперь у нас есть полное понимание, как рассчитать взвешенную точность, чувствительность и специфичность на основании данной матрицы ошибок. Правильный выбор этих метрик поможет вам более точно оценить эффективность вашего классификатора, особенно в условиях дисбаланса классов.
Помните, что в аналитике важно учитывать контекст использования метрик и цели вашей модели, чтобы правильно интерпретировать результаты.