Вопрос или проблема
Предположим, у меня есть 5 классов, обозначенных цифрами 1, 2, 3, 4 и 5, и это используется в обнаружении объектов.
При оценке производительности обнаружения объектов предположим, что у меня есть классы 1, 2 и 3, но классы 4 и 5 отсутствуют в целевых значениях.
Будет ли у каждого из классов 4 и 5 средняя точность 0 (из-за того, что их точность равна нулю, так как невозможно идентифицировать настоящие положительные случаи)? Или, возможно, существуют другие соображения, которые следует учитывать, когда происходит этот случай?
Я не уверен, существует ли стандарт для такого рода случаев. Я думаю, это зависит от того, предсказывает ли система какой-либо из этих классов, т.е. есть ли какие-либо ложноположительные случаи:
- если да, то точность действительно должна быть нулевой: из всех случаев, предсказанных как положительные, ни один не оказался настоящим положительным.
- если нет, я думаю, имеет больше смысла считать точность неопределенной (NaN), поскольку ни один случай вообще не предсказан как положительный (то есть в расчете точности происходит деление на ноль).
Это очень пограничный случай, поскольку было бы весьма сомнительно использовать тестовый набор, который не содержит все классы, содержащиеся в наборе для обучения: такой тестовый набор не подходит для целей оценки.
Ответ или решение
Средняя точность, если целевой класс не присутствует в оценке
В области обнаружения объектов существую определенные стандарты и нюансы оценки производительности моделей. Оценка средних значений точности (Average Precision, AP) становится особенно важной, когда мы анализируем работу модели в условиях, где одни классы могут быть отсутствующими в проверочных данных. Рассмотрим ситуацию, когда у нас имеется пять классов, обозначенных как 1, 2, 3, 4 и 5, и в данных для оценки присутствуют только классы 1, 2 и 3.
Понимание метрики точности
Метрика точности (Precision) определяется как отношение истинно положительных (TP) к сумме истинно положительных и ложноположительных (FP) значений:
[ \text{Precision} = \frac{TP}{TP + FP} ]
Средняя точность (AP) агрегирует точность на разных уровнях вовлеченности, принимая в расчет изменения в количестве обнаруженных объектов по мере изменения порога отсечения.
Рассмотрение отсутствующих классов
Если классы 4 и 5 полностью отсутствуют в проверочной выборке, то возможны два сценария:
-
Предсказание классов: Если модель предсказывает объекты классов 4 и 5, но все эти предсказания оказываются ложноположительными (т.е. не соответствуют никаким истинным экземплярам), то:
- Precision будет равен 0: Поскольку в расчетах TP равно 0, а FP больше 0, это заставит нас определить точность как нулевую. Тем не менее, важно отметить, что в таком случае AP для этих классов тоже будет равен 0, так как отсутствует положительный класс для корректного расчета.
-
Отсутствие предсказаний: Если модель не выдает никаких предсказаний для классов 4 и 5, то:
- Precision становится неопределенным (NaN): Здесь возникает ситуация деления на ноль, поскольку TP и FP оба равны нулю. Неопределенная точность в данном случае обоснованна, так как отсутствие предсказаний не позволяет корректно соизмерить точность.
Практические соображения
Выводы о средних значениях точности в таких случаях требуют осторожного подхода. Прежде всего, отсутствие классов в тестовой выборке вызывает вопрос о корректности данных для оценки производительности модели. Оценка модели на выборках, которые не представляют полный набор целевых классов, может привести к искажению реальной производительности.
-
Стандартизация тестовой выборки: Рекомендуется всегда использовать тестовые данные, которые охватывают все классы, присутствующие в обучающей выборке. Это обеспечит более точную картину производительности модели и позволит избежать случаев, когда AP принудительно равняется 0 или становится неопределенным.
-
Итеративная оценка: Если ваш проект требует работы с неполными данными, стоит предусмотреть процесс итеративной оценки, который позволит дополнить данные новыми примерами и улучшить общую оценку.
В заключение, вопрос о средней точности в условиях отсутствия целевых классов в оценке требует тщательного анализа. Важно понимать, что за пределами простых вычислений метрик, качество и содержание тестовых данных оказывают критическое влияние на интерпретацию результатов моделирования.