Вопрос или проблема
Я новичок в глубокем обучении, но мне удалось успешно использовать RasterVision для предсказания границ зданий на наборе аэрофотографий.
Этот набор аэрофотографий относится к провинции Новой Зеландии. Теперь, когда у меня есть модель, которая успешно предсказывает в этой провинции, меня интересует, как я могу использовать это для предсказания в других регионах Новой Зеландии. Проблема в том, что эти регионы захватываются с помощью различных сенсоров, имеют различное разрешение и применяются разные методы цветового баланса (я пробовал использовать свою модель в другом регионе с плохими результатами — 70% полноты вместо 92% в регионе, на котором она была обучена).
Я предполагаю, что мог бы взять свою модель в качестве основы для начала обучения в другом регионе…
Мой вопрос: возможно ли, чтобы у меня была модель, обученная с приемлемой точностью предсказывать в различных регионах с различным разрешением (0.1м → 0.7м) и разным цветовым балансом, или правильнее было бы взять базовую модель и переобучить ее для каждого отдельного набора изображений (что, очевидно, менее идеально)?
Существуют ли примеры подобного подхода для столь различных аэрофотографий/спутниковых изображений?
Я отмечаю, что данный вопрос отвечает на некоторые из этих вопросов в терминах разрешения. Меня также интересует влияние и управление различиями в цветовом балансе между наборами данных.
Другие наборы изображений, на которых я хочу начать предсказывать, включают эти.
Я задал этот вопрос, так как не был уверен, возможно ли, чтобы модель глубокого обучения обобщала с хорошими результатами на столь разнообразных аэрофотографиях.
С тех пор я провел эксперименты с более чем 20 национальными наборами аэрофотографий, обучая модель для извлечения границ зданий из изображений. Используя resnet101, не было проблем с обучением и предсказанием на наборах изображений с различным разрешением (тестировалось 5-30 см), цветовыми свойствами и географиями.
Лучшие результаты предсказания были достигнуты с наборами изображений более высокого разрешения. Это было связано с дополнительными деталями о зданиях, предоставленными в данных высокого разрешения.
Наибольшими трудностями были ложные срабатывания в уникальных ландшафтах, образующих класс фона (т.е. не здание). Это было связано с тем, что изначально более уникальные ландшафты не входили в обучающие данные, и предсказания по этим изображениям приводили к ложным срабатываниям (здания). Это было легко исправить, добавив примеры изображений этих классов фона в обучающие данные. После того как машина увидела этот контекст в обучении, ложные срабатывания исчезли.
Ответ или решение
Переход глубокого обучения от одного набора аэрофотоснимков к многим другим
Ваши наблюдения относительно использования глубокого обучения для предсказания контуров зданий по изображению аэрофотосъемки очень интересны, и ваш опыт с трансфером обучения служит отличной основой для дальнейших экспериментов. Давайте рассмотрим, как можно справиться с задачей переноса вашего обученного модели на различные наборы данных, которые имеют различное разрешение и цветовую балансировку.
1. Трансферное обучение
Вы абсолютно правы, что использование вашей модели в качестве базовой для обучения на других наборах данных может быть эффективным подходом. Трансферное обучение позволяет использовать знания, полученные на одном наборе данных, чтобы улучшить производительность на других, особенно когда у вас ограниченное количество образцов для обучения на новом наборе данных. Однако, это подразумевает необходимость некоторого уровня дообучения с использованием местных данных, чтобы адаптировать модель к новым условиям.
2. Обработка разрешения изображений
Как показали ваши эксперименты, работа с изображениями различного разрешения (5-30 см) возможна, и даже не вызывает серьезных проблем. Главное здесь — это правильно настроить модель, чтобы она могла извлекать важные признаки из изображений различного качества. Расширение набора данных с использованием различных разрешений может помочь модели стать более универсальной и устойчивой к подобным вариациям.
3. Работа с цветовой балансировкой
Разные датасеты могут иметь различные цветовые профили и балансировку. Чтобы помочь модели справляться с этим, можно использовать одну из следующих стратегий:
-
Аугментация данных: Применение техник аугментации, таких как изменение яркости, контрастности и оттенков, может помочь модели стать более устойчивой к цветовым изменениям. Это позволит ему лучше адаптироваться к различным датасетам во время обучения.
-
Нормализация изображений: Применение методов нормализации на уровне пикселей может помочь уменьшить влияние различий в цвете и яркости между разными наборами данных.
-
Обучение на разнообразных наборах данных: Когда вы добавляете примеры изображений с различной цветовой балансировкой в ваш тренировочный набор, это повысит вероятность того, что модель сможет эффективно обрабатывать новые данные.
4. Обработка ложных срабатываний
Как вы уже заметили, ложные срабатывания, особенно связанные с уникальными ландшафтами, могут создать дополнительные проблемы. Включение примеров изображений с такими фоновыми классами в обучающий набор данных может значительно уменьшить количество ложных срабатываний. Таким образом, модели легче будет определить, какие участки не относятся к строениям.
5. Примеры успешных подходов
Существуют многие примеры успешного применения трансферного обучения и перехода глубокого обучения на различных наборах аэро- и спутниковых изображений. Например, исследовательские работы на базе пространственных данных, таких как WorldView и Sentinel, продемонстрировали, что модели глубокого обучения могут успешно адаптироваться к различным условиям данных.
Заключение
Ваши эксперименты уже показывают, что модель может успешно предсказывать контуры зданий на различных наборах данных с различным разрешением и цветовой балансировкой. Продолжайте экспериментировать с настройками аугментации и увеличением вашего обучающего набора данными, чтобы улучшить результаты. Не забывайте также проверять метрики производительности, чтобы следить за изменениями в точности на разных наборах данных. Ваш стремление к обучению и настройке моделей является ключом к успешному применению глубокого обучения в такой разнообразной области, как анализ аэрофотоснимков.