Вопрос или проблема
Пока что я использовал labelme для разметки объектов в видео, которые использую для обучения, но это довольно трудоемко.
Существуют ли хорошие инструменты, которые могут помочь с этим?
Я думал о инструменте, где я разметил бы несколько кадров, а инструмент затем сопоставил бы размеченные области на следующих кадрах. Обратите внимание, что простой интерполяции было бы недостаточно.
Вы можете использовать какую-нибудь библиотеку отслеживания. Адриан Розброк дает хороший обзор на своем блоге.
Ответ или решение
ДляSemi-автоматической разметки видео существует несколько инструментов, которые могут значительно упростить процесс метки объектов. Ниже представлены несколько рекомендованных инструментов и подходов, которые могут помочь вам в этой задаче:
-
CVAT (Computer Vision Annotation Tool): Это мощный инструмент с открытым исходным кодом, разработанный Intel. CVAT поддерживает ручное и полуавтоматическое аннотирование, включая возможность отслеживания объектов. Вы можете пометить начальные кадры, после чего инструмент будет автоматически генерировать разметку на следующих кадрах с использованием алгоритмов отслеживания.
-
Labelbox: Это облачный инструмент для аннотирования данных, который предлагает возможности полуавтоматической разметки. Labelbox поддерживает интеграцию с различными библиотеками для машинного обучения, позволяя автоматически аннотировать кадры после первоначальной разметки.
-
VOTT (Visual Object Tagging Tool): Этот инструмент от Microsoft позволяет размечать видео и изображения, а также поддерживает механизмы для отслеживания объектов между кадрами. VOTT может помочь ускорить процесс, пометив определенные объекты в нескольких кадрах.
-
DeepLabCut: Хотя этот инструмент в первую очередь предназначен для отслеживания движений животных, его можно адаптировать для разметки в других сценариях. Вы можете пометить ключевые кадры, и инструмент будет отслеживать изменения в видеорядe.
-
OpenCV с использованием скриптов для отслеживания: Если у вас есть некоторые навыки программирования, вы можете использовать библиотеку OpenCV с алгоритмами отслеживания, такими как KLT (Kanade-Lucas-Tomasi), MedianFlow или CSRT. Вы можете пометить объект на первом кадре, а затем автоматически отслеживать его в следующих кадрах с помощью вашего кода.
-
Dataloop: Платформа для аннотации и управления данными, которая предлагает возможности полуавтоматического аннотирования. Dataloop позволяет создавать аннотации и отслеживать их в рамках проекта.
-
SuperAnnotate: Это еще один инструмент с возможностью полуавтоматической разметки. Он позволяет делать аннотации на видео и использовать технологии машинного обучения для ускорения процесса разметки.
Помимо выбора инструмента, вы также можете рассмотреть использование метода активного обучения, чтобы выбирать наиболее сложные для аннотирования кадры, тем самым сократив время на ручную разметку.
Таким образом, выбор правильного инструмента и подхода к аннотированию может существенно сократить время, затрачиваемое на разметку видео и повысить точность ваших данных для обучения моделей.