Как иметь несколько меток в одном видео?

Содержание

Вопрос или проблема
Ответ или решение
Подходы к многоклассовой классификации
Подготовка данных
Архитектура модели
Обучение и валидация
Заключение

Вопрос или проблема

Я разрабатываю систему классификации теннисных ударов с использованием CNN.

Я предполагаю, что каждый удар состоит из 3 этапов/классов (‘Готовность’, ‘Импакт’, ‘Финиш’). Я хочу обучить модель, которая будет предсказывать, содержит ли входное видео эти этапы/классы.

Я пробовал обучать 3 модели для каждого этапа как бинарную классификацию.

Пример классов модели одного этапа:

1 - готов  
0 - не готов (другие неверные этапы).

Но этот метод не сработал, так как в классе ‘не готов’ больше признаков. У меня получилось всего 4% точности.

Может кто-нибудь помочь мне найти решение этой проблемы.

Учитывая, что у вас всего 3 класса и что они тесно зависят друг от друга, я думаю, стоит попробовать многоклассовую настройку, как сказал WBM. Идея заключается в том, чтобы пометить каждое видео, используя полную комбинацию действий, так как максимальное количество комбинаций равно 2^3 = 8:

Г-I-Ф
Г-I
Г-Ф
Г
I-Ф
I
Ф
ничего

Возможно, некоторые комбинации действий невозможны, так что количество классов скорее всего меньше 8. Почему это разумный подход:

Настройка точно такая же, т.е. вы можете использовать те же метки, а предсказания можно использовать так же, как в вашем многометочном подходе
Это “совместная модель”, т.е. модель, которая изучает все вместе и поэтому может использовать детальное различие между классами (например, между Г-I-Ф и Г-I).

Однако отметьте, что этот метод может потребовать больше данных, в частности, он должен иметь достаточно экземпляров для каждого класса.

Ответ или решение

Для разработки системы классификации теннисных ударов с использованием сверточных нейронных сетей (CNN) необходимы более сложные подходы к обучению модели для распознавания нескольких этапов ударов (таких как «Ready», «Impact», «Finish») в одном видео. Вместо использования отдельных моделей для каждой категории, что привело к низкой точности, рекомендуется применить метод многоклассовой или многоярлыковой классификации.

Подходы к многоклассовой классификации

Мульти-ярлыковая классификация:
- В этом подходе каждая видеозапись помечается комбинацией действий, что позволяет вашей модели предсказать наличие нескольких классов одновременно. Для трёх типов ударов может быть 8 возможных комбинаций (2^3):
  - R-I-F (Ready, Impact, Finish)
  - R-I (Ready, Impact)
  - R-F (Ready, Finish)
  - R (Ready)
  - I-F (Impact, Finish)
  - I (Impact)
  - F (Finish)
  - none (отсутствие ударов)
Модель совместного обучения:
- Используя один унифицированный модельный подход, вы позволите модели учиться распознавать все классы одновременно, что помогает использовать узкие различия между классами. Это обеспечит более точное распознавание этапов, так как модель не будет изолировать обучение для каждого класса. Например, она сможет лучше распознавать различия между полным набором действий и неполными, такими как только «Ready» и «Impact».

Подготовка данных

Аннотирование данных: Убедитесь, что все ваши обучающие видео должным образом аннотированы с правильными метками. Это важно для успешного обучения модели. При аннотировании учтите, что некоторые комбинации действий могут быть невозможными.
Сбалансированность классов: Производите контроль над количеством примеров для каждого класса. Для повышения точности модели рекомендуется иметь равное количество примеров для всех классов. Если у вас недостаточно данных для некоторых комбинаций, это может снизить общую производительность.

Архитектура модели

Выбор архитектуры CNN:
- Используется хорошо зарекомендовавшая себя структура CNN, такая как ResNet, Inception или VGG, которые можно адаптировать к многоклассовой задаче через последнюю слой с softmax активацией.
Функция потерь:
- Используйте функцию потерь, подходящую для многоклассовой классификации, например, categorical cross-entropy, чтобы оценить разницу между предсказанными вероятностями и реальными метками классов.

Обучение и валидация

Кросс-валидация: Применение кросс-валидации для оценки производительности модели на разных выборках данных. Это поможет вам избежать переобучения и предоставить надежную оценку работы модели.
Автоматический подбор гиперпараметров: Используйте методы оптимизации (например, Grid Search или Optuna) для поиска наилучших значений таких параметров, как скорость обучения, размер батча и архитектура модели.

Заключение

Применение таких подходов поможет вам эффективно моделировать многоклассовую классификацию в рамках вашей системы классификации теннисных ударов. Отличительная особенность этого решения – совместное обучение, что позволит вашей модели выявлять взаимосвязи между классами, а не рассматривать их в изоляции. Это улучшит точность распознавания и, в конечном итоге, повысит эффективность вашей системы.