Вопрос или проблема
У меня есть N примеров классификации объектов, каждый из которых состоит из набора M отдельных изображений объекта под разными углами. Я обучил M свёрточных нейронных сетей (CNN) на датасете одного конкретного угла изображения и соответствующей метке. (Таким образом, у меня есть M наборов параметров модели, которые я обнаружил для каждого угла)
Теперь, учитывая эту информацию, какой подход будет хорош для классификации нового отдельного объекта на основе его набора из M отдельных углов изображений? (т.е. я могу с некоторой точностью классифицировать, что каждое отдельное изображение в наборе, но есть ли метод, с помощью которого я могу использовать зависимость признаков изображений, относящихся к одному уникальному набору примеров, чтобы сделать общее “лучшее” предсказание, чем просто взять среднее всех индивидуальных вероятностей?)
Насколько я понимаю, ваша проблема связана с ансамблевым обучением: ваш ансамбль — это набор моделей, обученных на определение класса объекта на изображениях под одним и тем же углом, и теперь вы хотите классифицировать объект и выбрать модель голосования той модели, которая обучена на правильном угле?
В этом случае я бы выбрал предсказание модели, у которой наименее неоднозначный результат, перед выводом бинарной метки.
Таким образом, это, вероятно, связано с этими темами:
Ответ или решение
Для решения вашей задачи классификации набора изображений, относящихся к одному объекту, после того, как вы обучили несколько сверточных нейронных сетей (CNN) на индивидуальных изображениях с разных углов, можно использовать подходы ансамблевого обучения и взвешенного голосования.
Шаги для классификации нового объекта:
-
Предсказания индивидуальных CNN:
- Для каждого изображения в наборе из M углов, выполните классификацию с помощью соответствующей CNN. Это даст вам M предсказаний, каждое из которых будет содержать вероятности для всех N классов.
-
Объединение предсказаний:
- Вместо простого усреднения вероятностей для получения финального класса, вы можете использовать более продвинутые подходы, такие как:
- Взвешенное голосование: Используйте веса для каждого предсказания в зависимости от уверенности вашей модели на каждом изображении. Уверенность вашей модели можно оценить с помощью максимальной вероятности среди классов: вы можете дать больший вес тем победным предсказаниям, которые имеют более высокую вероятность.
- Majority Voting (Голосование большинства): Определите класс, который наиболее часто предсказывается среди ваших M CNN. В случае ничьей можно использовать правило "класса с большей уверенностью".
- Вместо простого усреднения вероятностей для получения финального класса, вы можете использовать более продвинутые подходы, такие как:
-
Учет зависимости изображений:
- Если есть доступная информация о том, какие углы могут быть наиболее важными или характерными для определённых классов (например, определённые углы лучше отображают специфические черты класса), можно использовать это для настройки весов предсказаний.
-
Финальная классификация:
- На основе объединённых предсказаний выберите класс, который предполагается как итоговый результат.
Дополнительные методы:
- Методы ансамблевого обучения:
- Вместо использования отдельных моделей, рассмотрите возможность использования одного комбинированного подхода, например, Bagging или Boosting, где модели обучаются совместно с использованием различных представлений (углов).
- Применение сверточных слоев для извлечения признаков:
- Вместо полного обучения отдельных CNN на изображениях, вы можете извлекать признаки из одного общего CNN и использовать их для классификации с помощью другой модели, например SVM или Random Forest.
Вывод:
Использование ансамблевого подхода с учётом доверия к предсказаниям отдельных CNN позволит вам улучшить общую точность классификации объекта, рассматривая всю информацию, содержащуюся в наборе изображений. Радикальное снижение вариации в предсказаниях может также послужить индикатором уверенности в финальном результате.