Faster R-CNN / Mask R-CNN: можно ли зафиксировать количество экземпляров?

Вопрос или проблема

Ответ или решение

Разумеется, ваша задача по сегментации слоев сетчатки с использованием Mask R-CNN в библиотеке Detectron2 вызывает интерес. Чтобы понять, возможно ли зафиксировать количество выявляемых объектов в ваших моделях, рассмотрим несколько важных аспектов и предоставим практические рекомендации для достижения вашей цели.

Теория

Faster R-CNN и Mask R-CNN: Эти модели предназначены для обнаружения объектов и сегментации изображений, соответственно. Ваша задача заключается в использовании именно Mask R-CNN для сегментации слоёв сетчатки, однако основной задачей этой модели является динамическое выявление объектов, количество которых обычно варьируется в зависимости от содержания изображений.

Основной механизм обработки включает в себя несколько ключевых этапов:

1. Этап предложения регионов (Region Proposal Network, RPN): определяет области интереса, которые потенциально содержат объекты.
2. Этап классификации и регрессии рамок: уточняет принадлежность области интереса определённому классу и уточняет координаты рамок объектов.
3. Этап сегментации: накладывает маски на выявленные объекты.

Аспекты регулирования выявления объектов:

• NMS (Non-Maximum Suppression): эта техника используется для предотвращения дублирования рамок для одного и того же объекта. На этапе тестирования, как вы указали, использование параметра NMS_THRESH_TEST позволяет ограничивать количество объектов, но не фиксировать.

• Порог оценки (Score Threshold): SCORE_THRESH_TEST влияет на то, какие объекты считаются достоверными на этапе определения. Уменьшая этот порог, можно увеличить количество распознаваемых объектов, но при этом включаются объекты с более низкой уверенностью, что может повлиять на точность.

Пример

Рассмотрим конкретный случай: вы обучили Mask R-CNN на наборе данных, где каждый образ содержит пять аннотированных слоёв. Если модель обнаруживает только 2-3 слоя, это говорит о том, что оставшихся слоёв она не видит как достаточные для уверенного выявления объекты.

Применение

1. Подходы к фиксации количества объектов:

• Добавление псевдообъектов: Возможно использование добавочных объектов в наборе данных для подталкивания модели к выявлению всех слоев.
• Разметка объектов-разделителей: Использование дополнительных аннотаций для "разделительных" объектов, чтобы модель точно знала, что искать.

2. Настройка гиперпараметров:

• Улучшение аннотаций: Убедитесь, что изначальные тренировочные данные полностью и точно аннотированы. Недостаточная детальность аннотаций может затруднить обучающую задачу модели.
• Снижение порогов: Попробуйте уменьшить значения SCORE_THRESH_TEST для попытки выявления большего числа объектов, а затем уточните другие параметры, чтобы улучшить качество для тех объектов, у которых есть низкие оценки.

3. Обработка выходных данных:

• Постобработка: после того, как объекты выявлены, можно ввести этап постобработки для уточнения количества обнаруженных объектов (например, объединение или разделение в постобработке).
• Настройка обратной связи: сделайте пользовательский слой постобработки, зависящий от контекста задач, который может объединять или игнорировать некоторые предложения.

Таким образом, несмотря на то, что в механизмах Mask R-CNN не предусмотрена прямая возможность задания четкого числа объектов для обнаружения, возможны различные способы улучшения результата через обучение, оптимизацию гиперпараметров или постобработку. Ваша уникальная задача по сегментации сетчатки требует отладки этих аспектов в зависимости от специфики и особенностей данных, с которыми вы работаете.