Вопрос или проблема
В настоящее время я использую mediapipe для выполнения детекции поз и хочу классифицировать спортивные позы, но большинство из поз похожи друг на друга, и я использую классификацию поз, предоставленную самим tensorflow.
Проблема, с которой я сталкиваюсь, заключается в том, что классификация выполняется на каждом кадре, что приводит к ложным определениям, так как происходят как правильные определения поз, так и ложные.
Результат получается непрерывным, например, если необходимое действие, такое как удар крикетиста, происходит только на 23-м кадре и определяется правильно, то также возникают ложные срабатывания действий на 25-м и 26-м кадрах, чего я хотел бы избежать.
Я пытался исправить данные, предоставляя увеличенные данные, увеличивая доверие для фильтрации, получая больше встраиваний, таких как углы, расстояние и т.д.
Ответ или решение
Чтобы улучшить классификацию поз в ваших спортивных видео, следует учесть несколько важных аспектов, касающихся как предобработки данных, так и алгоритмов обработки. Вот некоторые рекомендации, которые могут помочь вам решить возникшие проблемы с ложной классификацией.
1. Улучшение подготовки данных
-
Аугментация данных: Вы уже упомянули, что использовали аугментацию данных, но важно проанализировать, насколько разнообразными являются ваши аугментированные данные. Попробуйте добавить большее количество различных мутаций, таких как вращение, масштабирование, изменение яркости или агрессивные искажения. Это может помочь модели лучше справляться с вариациями.
-
Сбор большего объема данных: Если это возможно, постарайтесь собрать больше данных именно для тех действий, которые сложно различать (например, подача и удар в крикете). Разнообразие данных должно включать различные углы, освещение и условия, чтобы лучше обобщать модель.
-
Фрейм-шеринг: Вместо анализа одиночных кадров, рассмотрите возможность создания последовательностей кадров (например, видеокадров в диапазоне 5-10 кадров) для передачи временной информации, что может помочь модели лучше справляться с динамическими движениями.
2. Алгоритмические улучшения
-
Использование LSTM или GRU: Поскольку вы работаете с временными данными, использование рекуррентных нейронных сетей (например, LSTM или GRU) может значительно улучшить результаты классификации. Эти сети смогут учитывать предыдущие кадры и их контекст при принятии решения о текущем кадре.
-
Улучшение модели TensorFlow: Если вы используете предобученные модели из TensorFlow, поэкспериментируйте с кастомизацией архитектуры. Вы можете попробовать различные слои (например, свертки в бустерах, внимание) или даже обучить собственную модель с нуля, учитывая специфику вашего набора данных.
3. Фильтрация и постобработка
-
Скользящее окно для предсказаний: Введите механизм, который будет агрегировать классификации на нескольких кадрах. Например, если действие выявлено на 23-м кадре, можно установить правило, что для кадров 24 и 25 не должно быть изменений в предсказании без достаточного перепроверки. Это может помочь уменьшить ложные срабатывания.
-
Порог доверия: Увеличьте пороги уверенности для классификации. Классификация должна приниматься только в том случае, если уверенность модели превышает установленный порог. Это может помочь вам избегать некорректных диагнозов.
-
Система голосования: Вы можете использовать систему голосования, основанную на множественных классификаторах. Обучите несколько моделей и выберите предсказание, которое наиболее часто повторяется среди этих моделей, тем самым минимизируя влияние ошибок.
4. Оценка производительности
- Тестирование и валидация: Регулярно проверяйте вашу модель на тестовом наборе данных, который не использовался в процессе обучения. Это даст вам информативное понимание ее реальных возможностей. Анализируйте, с какими именно позами возникают сложности, и корректируйте набор данных и подходы соответственно.
Заключение
Совершенствование классификации поз — это итеративный процесс, требующий как теоретического подхода, так и практических экспериментов. Следуя рекомендованным шагам, вы сможете значительно улучшить качество ваших наблюдений и минимизировать ложные срабатывания в вашем спортивном анализе. Успехов вам в ваших экспериментах!