Вопрос или проблема
Здесь (источник) говорится, что
Методы решения задачи сегментации экземпляров можно условно разделить на две категории: методы на основе предложений и методы без предложений. В методах на основе предложений сначала предсказывается набор предложений объектов и их классы, затем выполняется сегментация на передний и задний план в каждом ограничивающем прямоугольнике. Методики без предложений исключают этап генерации предложений.
Что в этом контексте значит “предложение”? Также, как “сначала предсказать их классы”? В интернете не так много информации по этой теме, и я был бы признателен, если бы кто-то смог объяснить различия.
На основе предложений:
- Давайте поищем автомобиль, определим его границы и так далее. Хорошо, нашли автомобиль.
- Кластеризуем все пиксели, которые принадлежат этому автомобилю.
Без предложений:
- Давайте обозначим каждый пиксель как некоторый некатегоризированный экземпляр.
- На основе результатов семантической сегментации, вероятно, этот экземпляр принадлежит к категории “Автомобиль”.
Вы также можете ознакомиться с разделом II. Related Work в статье ниже, где это объясняется более подробно, с дополнительными источниками, упомянутыми в ней:
Hsu, Yen-Chang, et al. “Learning to cluster for proposal-free instance segmentation.” 2018 International Joint Conference on Neural Networks (IJCNN). IEEE, 2018.
.
Ответ или решение
В контексте сегментации объектов в изображениях, метод "proposal" относится к генерации областей интереса (Region of Interest, ROI), которые могут содержать объекты. Для описания разницы между подходами, основанными на предложениях (proposal-based) и без предложений (proposal-free), необходимо рассмотреть процесс их работы.
Подходы, основанные на предложениях (Proposal-Based Methods)
Как и упоминается в источнике, данные методы начинают с этапа генерации предложений. Это означает, что алгоритм сначала определяет потенциальные области изображения, где может находиться объект. После того как эти области определены, алгоритм осуществляет классификацию объектов и разделение на передний и задний планы в границах каждого из предложенных фрагментов. Такой подход зачастую использует структуры, подобные региональным сверточным нейронным сетям (R-CNN), которые хорошо подходят для выделения предложений и последующей сегментации.
- Генерация предложений: Алгоритм генерирует набор прямоугольных областей в изображении, предполагаемых для возможного наличия объектов.
- Классификация и сегментация: Для каждой области определяется класс объекта, и производится детальная сегментация, выделяющая границы объекта внутри этой области.
Подходы без предложений (Proposal-Free Methods)
Подходы, не использующие предложений, исключают фазу генерации областей. Здесь процесс идет напрямую от пиксельной к сегментационной классификации:
- Сегментация на уровне пикселей: Каждому пикселю изображения присваивается метка, означающая принадлежность к конкретному объекту или фону.
- Определение принадлежности к классу: На основании результатов сегментации, пиксели, относимые к одним и тем же объектам, группируются и классифицируются по предопределенным категориям, например, автомобиль, человек и т.д.
Заключение
Оба подхода имеют свои преимущества и недостатки. Предложенческие методы более точно определяют границы объектов, что важно при необходимости строгого выделения. Однако они требуют больше вычислительных ресурсов из-за сложностей на этапе генерации предложений. Безпредложенческие методы более быстры и менее ресурсоемки, но могут страдать от недостаточной точности в определении границ объектов.
В контексте применения таких методов в промышленности и научных исследованиях выбор подхода зависит от требований к точности и скорости обработки изображений.