Вопрос или проблема
В данный момент я думаю о том, чтобы использовать ControlNet с стабильной диффузией для генерации изображений/поз и комбинирования их в видео. Другим решением может быть сначала генерация видео с помощью текстов в видео, а затем использование deepfake/ReActor для замены персонажа.
Тем не менее, я открыт к исследованию других инструментов или библиотек, которые могут лучше подойти для этой задачи. Поскольку я хочу, чтобы персонаж постоянно менял позы, Heygen может не подойти.
Я изучал базовые инструменты для конвертации изображений в видео, но не нашел много из них, которые явно поддерживают добавление подсказок или аннотаций гибким образом. Любые рекомендации будут высоко цениться.
Заранее благодарю вас за помощь!
Вы можете попробовать Dream Machine от Luma Labs. Не совсем уверен, что именно вы пытаетесь сделать, но это может быть полезно, так как это поддерживает комбинирование стартового изображения/кадра и подсказки.
Проблема в том, что сгенерированные видео короткие. Но вы можете обойти это, склеив несколько сгенерированных видео, где следующее поколение основано на последнем кадре из последнего сгенерированного видео.
Я предполагаю, что вы имеете в виду “бесплатный” здесь, вероятно, “безвозмездно”/бумажно.
Существует бесплатное программное обеспечение и бесплатное использование/вычислительные мощности. Для бесплатного программного обеспечения проверьте тег “Text-to-Video” на Huggingface. Там вы найдете множество загружаемых AI моделей с бесплатными лицензиями, как маленьких, так и больших; недавно выпущенные и старые модели.
Тем не менее, вам нужно будет настроить их самостоятельно и запускать их локально (или в облаке, или на арендованном сервере). Учитывая, что любая задача преобразования текста в видео является очень ресурсоемкой, это то, что вам нужно сделать, чтобы поддерживать низкие эксплуатационные расходы.
Чтобы научиться настраивать их локально, я рекомендую курс “Открытые модели с Huggingface на Deeplearning.ai
Ответ или решение
Конвертация изображений в видео с использованием инструментов ИТ представляет собой интересную задачу, особенно если вы хотите добавить гибкость и возможность использования текстовых подсказок или аннотаций. Ваша цель — создать изменяющиеся позы персонажей с помощью генерации изображений и их объединения в видео. Рассмотрим бесплатные инструменты и библиотеки, которые могут помочь вам в этом процессе.
1. Luma Labs – Dream Machine
Одним из инструментов, который может вас заинтересовать, является Dream Machine от Luma Labs. Этот инструмент позволяет комбинировать начальные изображения и текстовые подсказки, что может быть полезно для вашей задачи. Однако стоит отметить, что генерируемые видео могут быть короткими. Для решения этой проблемы вы можете последовательно соединять несколько видеороликов, основываясь на последнем кадре предыдущей генерации.
2. Hugging Face – Текстовые к видео модели
Другим отличным вариантом для генерации видео на основе текста и изображений являются модели, доступные на платформе Hugging Face. Тег "Текст в Видео" обладает множеством моделей, которые можно скачать и использовать совершенно бесплатно, в том числе как старые, так и недавно выпущенные. Однако для использования этих моделей потребуется определенная техническая подготовка, так как их необходимо запускать локально или на облачных серверах.
Как начать:
- Установка: Чтобы запустить модели локально, вам нужно будет ознакомиться с документацией по установке и настройке. Рекомендуется пройти курс Open Source Models with Hugging Face от Deeplearning.ai, который поможет вам освоить данную технологию.
- Производительность: Имейте в виду, что задачи по созданию видео очень ресурсоемкие, поэтому важно настроить вычислительную инфраструктуру должным образом.
3. Deepfake/ReActor
Вы упомянули использование Deepfake или ReActor для замены персонажей. Эти подходы могут дополнить вашу стратегию генерирования видео. Если вы сможете генерировать видео с базовой анимацией, их можно доработать с применением фильтров и изменений, которые сделают персонажей более реалистичными и динамичными.
4. Вывод
Итак, для вашей задачи есть несколько бесплатных инструментов, которые могут помочь в создании видео на основе изображений с возможностью добавления текстовых подсказок:
- Luma Labs – Dream Machine: удобное средство для генерации коротких видеороликов с поддержкой подсказок.
- Hugging Face: величественный набор инструментов для текстового видео, требующий настройки.
- Deepfake/ReActor: возможности по улучшению видео и анимации.
Рекомендуется также рассмотреть возможность комбинирования этих инструментов, чтобы достичь наилучших результатов. Если у вас возникнут дополнительные вопросы или потребуется помощь в настройке, не стесняйтесь обратиться за советом. Удачи!