Adobe запускает AI-видеогенератор Firefly: конкурирует с SORA, Movie Gen и VEO

22

С Firefly, новым генератором видео с использованием искусственного интеллекта, Adobe вступает в мир редактирования видео с использованием искусственного интеллекта. Конкурируя с SORA от OpenAI, Movie Gen от Meta и Veo от Google, Firefly стремится предложить новые инструменты для редактирования видео с использованием технологии искусственного интеллекта. Adobe была дразнил Светлячка несколько месяцеви пользователи наконец-то готовы опробовать его в Premiere Pro и After Effects.

Давайте подробнее рассмотрим, на что способен Adobe Firefly.

Представляем видеомодель Firefly

Firefly включает в себя различные функции, которые позволяют пользователям создавать и улучшать видеоконтент различными способами. Вот что вы можете сделать с Firefly прямо сейчас:

Генеративное расширение

Инструмент Generative Extend находится в стадии бета-тестирования для Premiere Pro. Он позволяет пользователям продлевать видеоклипы до двух секунд при разрешении 720p или 1080p при частоте 24 кадра в секунду. Это может помочь исправить такие проблемы, как слишком короткая сцена или неожиданное движение, без необходимости повторной съемки. Он также работает со звуком, расширяя окружающие звуки, хотя у него есть ограничения на разговорные диалоги и музыку.

Преобразование текста в видео

Преобразование текста в видео позволяет пользователям создавать короткие видеоклипы с использованием текстовых подсказок максимальной продолжительностью пять секунд с качеством 720p. Он может создавать различные стили, такие как реалистичный фильм, 3D-анимация или покадровая анимация. Представьте себе, что вы набираете «кинематографический кадр, снятый с дрона, пролетающего над красным марсианским пейзажем на восходе солнца», и видите, как эта сцена оживает.

Adobe не одинока в гонке генеративного видео; Sora от OpenAI и Movie Gen от Meta обладают схожими возможностями. Однако Firefly передает управление непосредственно в руки пользователей благодаря настраиваемым настройкам камеры, ракурсам и эффектам движения, что позволяет вам создавать снимки, лучше соответствующие вашим потребностям.

Вот несколько примеров:

Подсказка: Кинематографический крупный план и детальный портрет пожилого мужчины посреди ночной улицы. освещение капризное и драматичное. Цветовая гамма – синие тени и оранжевые блики. У мужчины чрезвычайно реалистичная детальная текстура кожи и видимые поры. движения тонкие и мягкие. камера не двигается. пленочное зерно. старинный анаморфотный объектив.

Или вы можете создать свет и текстуру вот так:

Подсказка: Кинематографические утечки света на черном фоне, органическая текстура, реалистичность.

И вы можете добавить его к своим снимкам с помощью режима наложения экрана.

Преобразование изображения в видео и видео в видео

Firefly также может генерировать изображения в видео и видео в видео в Интернете. Image-to-Video позволяет пользователям создавать видеоматериалы из эталонного изображения. Его можно использовать для создания дополнительных кадров из фотографий или визуализации повторной съемки неподвижного кадра. В настоящее время он ограничен клипами продолжительностью до пяти секунд в разрешении 720p.

Video-to-Video позволяет пользователям загружать видео и изменять то, что происходит в видео, с помощью текстовой подсказки. Подобно преобразованию текста в видео и изображения в видео, продолжительность видео в видео также ограничена пятью секундами при разрешении 720p.

Это раньше:

Это после использования этой подсказки:

Подсказка: рука астронавта в перчатке входит в кадр и отсоединяет один из желтых кабелей. Кинематографичный.

Чем Adobe отличается от конкурентов

Инструменты Adobe находятся в стадии бета-тестирования с некоторыми ограничениями в текущих версиях. Генеративное расширение ограничено двумя секундами, а клипы «Текст-видео» и «Изображение-видео» ограничены пятью секундами с максимальным разрешением 720p. Для сравнения, OpenAI утверждает, что Sora может создавать видеоролики продолжительностью до минуты. Это значительное преимущество перед Adobe Firefly. Однако, в отличие от Firefly, SORA пока не является общедоступной.

Meta Movie Gen также может создавать более длинные HD-видео со звуком, но его частота ограничена 16 кадрами в секунду и в настоящее время доступна только исследовательским группам Meta.

Veo от Google выделяется тем, что создает реалистичные видеоролики продолжительностью более одной минуты в качестве 1080p, хотя точная максимальная продолжительность не упоминается. Однако ему не хватает внимания к безопасности контента, которое предлагает Adobe. Это означает, что Firefly гарантирует, что созданные видеоролики юридически безопасны для использования, обучаясь на лицензионном контенте или контенте, являющемся общественным достоянием, и использует учетные данные контента, чтобы четко показать, как контент был создан.

Что дальше для Adobe?

Adobe продолжает совершенствовать Firefly и планирует добавить «турбо-режим» для более быстрой генерации видео. В настоящее время создание видео занимает около 90 секунд, но Adobe надеется еще больше повысить скорость. Компания также представила на Adobe MAX другие функции искусственного интеллекта, продемонстрировав свою приверженность ответственной разработке искусственного интеллекта. Инициатива по обеспечению подлинности контента.

Инструменты Firefly доступны в ограниченной публичной бета-версии, и Adobe приглашает пользователей присоединяйтесь к списку ожидания. Обратите внимание: чтобы попробовать эту функцию, вам потребуется подписка на Adobe Premiere Pro. Пространство генеративного искусственного интеллекта быстро развивается, и добавление Adobe Firefly к набору творческих инструментов открывает новые возможности для видеоредакторов.