Вопрос или проблема
Можно ли классифицировать мои изображения (детали автомобилей) по типу детали автомобиля (дверь, окно …) и также по виду изображения (фронт, зад, право, лево, верх и низ)? Мои картинки помечены следующим образом: View_idPart, вид – это число от 2 до 7. Я хочу использовать модель CNN, но не знаю, возможно ли это? Надеюсь на ответы, буду очень благодарен.
Классификация по виду (фронт, зад …) – это легкая часть, так как у вас есть правильные метки в вашем наборе данных.
Я бы сделал это с помощью переноса обучения: выберите существующую модель классификации изображений (например, VGG или Res-Net) и зафиксируйте ее (parameters.require_grad = false в pytorch layer.trainable = false в keras), удалите последние слои классификации и замените их своей архитектурой с правильным числом выходов (6 классов в вашем случае). Затем обучите сеть: она должна обучать только последнюю часть классификации, так как мы заморозили свёрточную часть. И это должно дать хорошие результаты в зависимости от того, насколько сложна начальная модель CNN.
Перенос обучения полезен только если у вас немного данных в наборе данных, я бы сказал, что использовать существующую модель не обязательно, если у вас много данных (>100 000) в наборе данных. Если у вас есть большой набор данных, вы можете создать свою архитектуру с нуля и построить свои свёрточные слои с архитектурой кодировщика-классификатора, как показано ниже (синие + красные – это свёрточные слои, а зелёный – это часть классификатора):
Я не совсем понимаю, что вы имеете в виду под типом детали автомобиля (дверь, окно …), мне кажется, вы хотите, чтобы был еще один классификатор, который указывает детали автомобиля на изображении, так что вывод должен быть что-то вроде: есть окно, дверь, но нет багажника. Это также возможно, но требует набора данных с такой информацией (что, похоже, не так). Возможно, вы сможете найти корреляции между видом и частями на изображении и вывести это из этого. Или, если у вас есть такой помеченный набор данных, просто создайте еще одну CNN и обучите ее на этом наборе данных (вывод может потребоваться немного изменить, если вы хотите предсказать разные классы для одного изображения).
В любом случае, CNN определенно является правильным решением для вашей задачи, так как это самые точные модели, которые у нас есть на данный момент для классификации изображений, и они, вероятно, будут работать гораздо лучше, чем полностью связанные слои или другие архитектуры.
Если вам нужен учебник о том, как закодировать алгоритм классификации, посмотрите эту статью.
Да, это совершенно возможно, нейронные сети могут иметь несколько выходов, вам нужен набор данных для этого, но вы можете сделать это самостоятельно, использование предобученной модели не потребует большого набора данных.
Вот пост, который это делает:
https://towardsdatascience.com/building-a-multi-output-convolutional-neural-network-with-keras-ed24c7bc1178
Другой пост, но с выходами регрессии:
https://machinelearningmastery.com/deep-learning-models-for-multi-output-regression/
Ответ или решение
Да, классификация изображений автомобильных деталей с использованием свёрточной нейронной сети (CNN) с двумя выводами — это вполне осуществимая задача. В этом ответе мы обсудим детали решения вашей задачи, включая использование переноса обучения, архитектуру CNN и возможность многовыходной классификации.
Понимание задачи
Вы хотите классифицировать изображения автозапчастей (например, дверцы, окна и т.д.) по двум критериям:
- Тип автозапчасти (дверь, окно и т.д.)
- Вид изображения (фронтальный, задний, правый, левый, верхний, нижний)
Ваши данные подписаны в формате View_idPart, где View — это номер от 2 до 7.
Подход к решению
1. Использование переноса обучения
Если у вас ограниченное количество данных, целесообразно применять перенос обучения. Это значит, что вы можете взять предобученную модель (например, VGG, ResNet или Inception), заморозить её свёрточные слои и заменить финальные слои для вашей задачи:
- Заморозка слоёв: Установите параметры для обучения в состояние "не обучаемые" (
parameters.require_grad = falseдля PyTorch илиlayer.trainable = falseдля Keras). - Замена финальных слоёв: Замените выходной слой на тот, который соответствует вашим классам (например, 6 для видов).
Этот подход будет эффективен при ограниченном наборе данных и позволит вам быстро достичь неплохих результатов.
2. Создание модели с нуля
Если у вас достаточно данных (более 100,000), вы можете разрабатывать собственную архитектуру CNN с нуля. Она может содержать следующие компоненты:
- Слои свёртки: Для извлечения особенностей из изображений.
- Полносвязные слои: Для классификации.
Многовыходная классификация
Для выполнения многовыходной классификации вы можете реализовать две независимые выходные группы:
-
Классификация вида: Сеть может учиться классифицировать изображение по видам (фронтальный, задний и т. д.). Для этого вам нужно будет использовать один выходной слой с активацией
softmaxдля 6 классов. -
Классификация типа запчасти: В этом случае необходимо наличие соответствующих меток (например, типы запчастей). Если у вас есть такие метки, можно создать второй выходной слой для классификации по типам.
Примеры реализации
Чтобы лучше понять, как реализовать двоичную классификацию, полезно изучить следующие материалы:
Заключение
Использование CNN для многоклассовой классификации изображений является одной из самых эффективных стратегий в области компьютерного зрения. Ваши данные, правильно размеченные, могут быть использованы для обучения, позволяя вашей модели эффективно распознавать как типы запчастей, так и виды изображений. Основное внимание следует уделить качеству обучающего набора данных и правильной реализации архитектуры сети.