Вопрос или проблема
Я искал процессор изображений на базе GenAI, который идеальным образом смог бы обрабатывать запросы, такие как “обрезать это изображение под форму завернутого леденца с плавным переходом в три пикселя”; или “размыть фон травы на этом портрете, сохранив листву деревьев в фокусе”.
Другими словами, это должен быть свободно доступный онлайн инструмент, который может выполнять сложные задачи, которые обычно требуют очень опытного пользователя Photoshop или подобного программного обеспечения.
Я знаю о генераторах на базе ИИ (текст в изображение), но надеюсь, что из вышеизложенного ясно, что я ищу нечто другое. Это включает в себя Adobe Firefly, который, похоже, больше предназначен для генерации изображений, а не для редактирования изображений.
Поиск в Google не выявил никаких соответствующих бесплатных стандартных инструментов, поэтому я надеюсь, что кто-то сможет что-то порекомендовать.
Вполне возможно, что пока не существует такого (бесплатного) инструмента, хотя если это так, то, предположительно, такой инструмент не так уж и далеко в будущем.
Один онлайн (в браузере) инструмент, который я нашел, но не пробовал, так как он требует платной подписки без бесплатной пробной версии, – это Luminar. Pixlr бесплатен, но его возможности редактирования, похоже, не превышают тех, которые предлагают более старые версии Photoshop, то есть не являются инструментами на базе GenAI.
StableDiffusion – это генеративная AI-модель с открытым исходным кодом, разработанная Stability AI. Она предназначена для генерации качественных изображений из текстовых описаний и может работать локально на вашем персональном компьютере.
. Чтобы запустить более старую версию StableDiffusion локально, вам нужен мощный компьютер с совместимой GPU и достаточными ресурсами. Следуйте нескольким шагам:
-
Установите Python: > python3.82, вероятно, требуется, создайте среду Conda.
-
Склонируйте репозиторий Stable Diffusion:
git clone https://github.com/CompVis/stable-diffusion.git. Возможно, есть более новый репозиторий. -
Скачайте веса. См. пост в блоге от AssemblyAI.
-
Запустите модель: как только вы завершите вышеописанные шаги, вы можете запустить Stable Diffusion с помощью команды
python demo.py --prompt "ваш текстовый запрос здесь". Время вывода будет высоким, около 8-12 минут.
Ответ или решение
Введение в мир GenAI для обработки изображений
Сегодняшние пользователи часто сталкиваются с необходимостью редактирования изображений, требующего не только базовых навыков работы с графикой, но и творческого подхода. Во многом это связано с появлением Generative AI (GenAI) — технологии, которая меняет подходы к созданию и редактированию изображений. Особенно остро стоит вопрос о наличии удобных графических интерфейсов, позволяющих реализовать сложные запросы, такие как "обрезать изображение в форме завернутой леденцовой палочки с размытой границей в три пикселя" или "размыть фон травы на портрете, оставив листву деревьев в фокусе".
Проблематика и текущие решения
На данный момент существует множество инструментов для генерации изображений на основе текстовых запросов, однако решение, которое отвечало бы вашим требованиям по редактированию изображений с использованием GenAI, по понятным причинам сложно найти. Например, Adobe Firefly фокусируется на создании изображений, а не на их редактировании.
Вы уже упомянули о таких инструментах, как Luminar и Pixlr, однако они либо требуют платной подписки, либо не обеспечивают возможности использования возможностей GenAI. Таким образом, задача поиска бесплатного и эффективного онлайн-редактора остается актуальной.
Перспективные решения: использование StableDiffusion
Одним из наиболее значительных решений в области GenAI является StableDiffusion, разработанный компанией Stability AI. Этот инструмент позволяет вам генерировать высококачественные изображения на основе текстовых описаний и может быть установлен на вашем компьютере.
Как установить и использовать StableDiffusion:
-
Установка Python: Убедитесь, что у вас установлен Python версии 3.8.2 и выше.
-
Создание среды Conda: Используйте Conda для создания отдельной среды Python.
-
Клонирование репозитория StableDiffusion: Используйте команду:
git clone https://github.com/CompVis/stable-diffusion.gitОбратите внимание, что могут существовать более новые версии репозитория.
-
Загрузка весов модели: Для получения модели StableDiffusion вы можете найти соответствующие инструкции в блогах и документации (например, AssemblyAI).
-
Запуск модели: После выполнения предыдущих шагов вы сможете запустить StableDiffusion с помощью следующей команды:
python demo.py --prompt "ваш текстовый запрос"
Особенности и возможности
Хотя StableDiffusion в первую очередь предназначен для генерации изображений, он может быть адаптирован для выполнения задач редактирования с использованием специфических текстовых команд. Например, создание изображений для определенных форм может быть использовано в сочетании с программами для пост-редактирования таких как GIMP или Photoshop для дальнейшей точной корректировки.
Будущее генерируемого редактирования
Важно отметить, что инструменты, позволяющие редактировать изображения с поддержкой GenAI, все еще находятся на стадии активного развития. Мы можем ожидать появления онлайн-платформ, которые будут интегрировать мощные алгоритмы генеративного искусственного интеллекта и доступный интерфейс для работы с изображениями.
Заключение
С текущими реалиями поиска GenAI-редакторов, аналогичных Photoshop, выбор остается достаточно ограниченным. StableDiffusion и подобные инструменты открывают новые горизонты, но требуют определенных технических знаний для установки. Однако вы можете ожидать, что со временем появятся более удобные и доступные решения, которые помогут упростить процесс редактирования изображений для широкой аудитории. С учетом быстрого развития технологий, рано или поздно те возможности, о которых вы мечтаете, станут реальностью.