Вопрос или проблема
Как можно обучить классификатор на данных, которые не всегда полностью маркированы? Например, предположим, что у нас есть искажённые данные из набора CIFAR-10 (в котором есть метки, такие как птица/автомобиль/корабль/грузовик). Теперь эти искажённые данные представляют собой пары (X, Y) и сохраняют X, в то время как “смешивают” множество пар Y, заменяя каждую метку на набор меток, из которого происходит истинная метка образца. Так, метка “птица” может стать “не корабль”, “автомобиль” может стать “автомобиль или грузовик”, “корабль” может остаться “корабль” (без изменений) и т.д.
Как лучше всего использовать эту информацию? Существует ли функция потерь, которая учитывает это?
Если количество неправильных меток не велико по сравнению с правильными, вы всё равно можете обучить свою модель как обычно, а затем построить матрицу ошибок для различных валидационных наборов, которая может показать, сколько классификаций было неправильными и какие из них. После этого вы можете решить, исправлять ли ошибки или удалить их из набора данных.
Пример с использованием fastai и классификатора изображений пород домашних животных (числа вне главной диагонали — это ошибки):
interp = ClassificationInterpretation.from_learner(learn)
interp.plot_confusion_matrix(figsize=(12,12), dpi=60)
# посмотреть на основные ошибки
interp.plot_top_losses(5)
Ответ или решение
Обучение классификатора на неполных данных может представлять собой серьезную задачу, однако существуют методы, позволяющие эффективно использовать частичную информацию о метках. В случае, когда имеющиеся метки являются нечеткими или частично правильными, можно использовать несколько подходов и функций потерь, которые помогут справиться с этой проблемой.
1. Понимание концепции частичных меток
Частичные метки означают, что вместо однозначной метки для каждого примера у вас есть множество возможных меток. Например, если метка для примера была "птица", она может быть заменена на "не корабль", что подразумевает, что этот пример не относится к классу "корабль", но может относиться к другим классам (например, "птица", "машина" и т.д.).
2. Использование функций потерь
Для работы с частичными метками можно использовать несколько подходов:
-
Функция потерь с учетом множественных меток (multi-label loss). Одной из возможных функций потерь является бинарная кросс-энтропия, которая позволяет рассматривать каждый класс отдельно. Это полезно, если у вас много корректных меток, и вы хотите, чтобы модель могла корректно классифицировать пример даже в условиях нечетких меток.
-
Функция потерь с мягкими метками (soft labels). Можно использовать функции потерь, такие как "Кросс-энтропия с мягкими метками". Это позволяет учитывать вероятностный подход к меткам (например, "птица" с вероятностью 0.8 и "машина" с вероятностью 0.2). В этом случае модель будет обучена не на жестких метках, а на вероятностных распределениях.
3. Обработка некорректных меток
Если количество некорректных меток невелико по сравнению с корректными метками, можно использовать стандартный метод обучения и дополнительно анализировать результаты с помощью матрицы ошибок. Это поможет вам понимать, какие классы классифицируются неправильно и позволяют проводить дальнейшую корректировку данных.
Пример использования библиотеки fastai для визуализации матрицы ошибок:
interp = ClassificationInterpretation.from_learner(learn)
interp.plot_confusion_matrix(figsize=(12,12), dpi=60)4. Способы повышения устойчивости модели
Можно также рассмотреть методы, направленные на повышение устойчивости модели:
-
Аугментация данных. Увеличение объема данных за счет аугментации может помочь модели лучше изучить различные варианты одного и того же класса.
-
Обучение на нечетких метках через методы самообучения. Если у вас есть большие объемы данных, вы можете использовать методы, основанные на самообучении, чтобы еще больше улучшить точность модели.
-
Применение методов разметки данных (Label Propagation). Такие методы могут быть полезны для распространения информации о метках от правильно размеченных примеров к неверно размеченным.
Заключение
Обучение классификатора на данных с частичными метками является сложной, но выполнимой задачей. Использование соответствующих функций потерь, анализ результатов и применение методов повышения устойчивости модели позволяет вам эффективно работать с такими данными. Начните с выбора одной из стратегий, адаптируйте свою модель и оптимизируйте процесс обучения на основе анализа ошибок.