Meta представляет Movie Gen: новую AI-модель для создания видео

48

Meta выпустила новое обновление, добавляющее в свой растущий арсенал новый инструмент искусственного интеллекта. На этот раз они привносят голливудскую атмосферу в искусственный интеллект с помощью Movie Gen — новой модели искусственного интеллекта, которая превращает ваши текстовые подсказки в видео в формате Full HD. Хотя визуальные эффекты довольно впечатляющие, наше внимание привлек идеально синхронизированный звук и целый набор инструментов персонализации. Вот подробное описание того, что такое Movie Gen, и его текущий статус.

Что такое киноген?

Movie Gen — это новый инструмент искусственного интеллекта Meta для создания видео. Что отличает его от аналогичных инструментов искусственного интеллекта для преобразования текста в видео, так это использование 30 миллиардов параметров, что на данный момент является самым высоким показателем в отрасли. Думайте о параметрах как о шкалах, которые настраивают модели ИИ во время обучения и обучения на основе данных. Чем больше параметров имеет модель, тем больше нюансов информации она может обрабатывать. Для сравнения: SORA OpenAI имеет около 20 миллиардов параметров (по неофициальным данным), что сделало Movie Gen значительным шагом вперед.

В настоящее время модель может создавать 16-секундные видеоролики с частотой 16 кадров в секунду и синхронизированным звуком 48 кГц. Однако он предлагает множество других возможностей, которые мы рассмотрим ниже.

Вот что может сделать Meta's Movie Gen

Генерация текста в видео

Вы можете создать видео, просто набрав текстовую подсказку. Модель искусственного интеллекта обрабатывает текст и создает полностью визуализированное видео с высококачественной графикой, включая звук. Система поддерживает различные соотношения сторон, такие как 1:1, 9:16 и 16:9, и может создавать видео с разрешением до 1080p.

Создавайте персонализированные видеоролики

Вы также можете загрузить свое изображение или изображение другого человека, а затем ввести подсказку для создания персонализированных видео. Это означает, что вы можете, например, поместить себя в живописный пейзаж или создать видео, в котором вы взаимодействуете с анимированными элементами. Вы также можете изменить соотношение сторон и разрешение до 1080p.

Редактировать видео с текстом

Инструмент Movie Gen AI позволяет редактировать существующие видео так же легко, как набирать текст. Вы можете изменять существующие видео, предоставляя текстовые инструкции, включая добавление или изменение объектов, изменение фона или настройку других визуальных элементов.

Например, если у вас есть видео со сценой на пляже, вы можете добавить такую ​​инструкцию, как «добавить пальму слева» или «изменить небо на закат».

Генерация видео в аудио

Это самая крутая часть. Movie Gen создает короткие видеоролики, а затем может добавлять соответствующий звук, синхронизированный с кадрами. Он генерирует фоновую музыку, звуковые эффекты и окружающие шумы, соответствующие видеоконтенту.

Например, если действие созданного видео происходит в лесу, Movie Gen добавит звуки шелеста листьев, щебетания птиц и другие естественные шумы. Помимо звуков, вы также можете добавить музыку, упомянув «рок-гитарную музыку», которая будет воспроизводиться синхронно с визуальными эффектами и иметь смысл для зрителя.

Преобразование текста в аудио

Эта функция позволяет создавать реалистичные саундтреки или эффекты из текстовых подсказок, даже если у вас нет видео. Например, вы можете ввести «городская улица вечером», и Movie Gen AI сгенерирует соответствующие окружающие звуки, такие как шум дорожного движения, разговоры людей и отдаленные гудки.

Ограничения Movie Gen

Хотя Movie Gen впечатляет, он не без ограничений. Вот что мы нашли:

• Нет публичного доступа: На данный момент Movie Gen доступен только исследовательским группам Meta и избранным партнерам. Публичного доступа пока нет, хотя Meta намекает, что они могут опубликовать некоторые соответствующие данные для использования в исследованиях в будущем. Поэтому большинству создателей контента приходится ждать публичного релиза.
• Только короткие видео: На данный момент модель может создавать видеоролики длиной до 16 секунд. Для чего-то большего вам понадобится другое решение. Например, OpenAI утверждает, что SORA будет поддерживать до 60 секунд.
• Частота кадров: он генерирует видео со скоростью 16 кадров в секунду, что хорошо подходит для коротких клипов, но не идеально для длинных или высококачественных видео, требующих более высокой частоты кадров.

Пока Movie Gen не станет общедоступным, его эффективность в реальных сценариях остается неопределенной. Однако, учитывая опыт Meta в разработке моделей искусственного интеллекта с открытым исходным кодом, вполне вероятно, что Movie Gen также станет открытым и бесплатным для использования, что сделает его преимущества более доступными. Открытый исходный код может также способствовать разработке более совершенных моделей с более высокой частотой кадров и более длинными видео.

Может ли поколение кино изменить игру?

В настоящее время мы можем полагаться только на заявления Meta, и, исходя из этого, этот инструмент кажется лучшим инструментом для создания видео на бумаге. Он может создавать видео с нуля или использовать ваши изображения, редактировать видео с помощью текстовых подсказок и даже создавать аудио. Если он станет открытым исходным кодом, как модели Llama от Meta, это может существенно повлиять на создание контента для всех. Однако его реальная производительность еще предстоит проверить.