Meta запускает 3D Gen — это конец эры генераторов изображений на основе ИИ, какими мы их знаем?

27

Meta, бывший Facebook, запустил новый Научно-исследовательская работа на Meta 3D Gen AI (3DGen). Похоже, это новый прорыв в области генеративного ИИ, где пользователи смогут создавать реалистичные 3D-персонажи, объекты и модели, используя только текстовые подсказки. Мета-блог поделился более подробной информацией о новом инструменте 3D Gen AI.

Компания Meta утверждает, что ее инструмент генерации текстовых 3D-ресурсов, удачно названный 3D Gen, может быстро преобразовывать текстовые описания в подробные 3D-модели, создавая высококачественные формы и текстуры менее чем за минуту.

До сих пор инструменты создания изображений, такие как Середина пути может генерировать только 2D-изображения из текстовых подсказок. В основном используется для цифрового искусства, дизайна, маркетинга и многого другого. Однако 3D от Meta имеет более широкие области применения. Он идеально подходит для отраслей, требующих быстрого и точного создания 3D-активов, таких как разработка видеоигр, виртуальная реальность (VR), дополненная реальность и цифровое искусство.

📣 Новое исследование GenAI в Meta, представляющее Meta 3D Gen: новую систему для сквозной генерации 3D-ресурсов из текста в

Meta 3D Gen — это новая комбинированная система искусственного интеллекта, способная генерировать высококачественные 3D-ресурсы с использованием как текстур высокого разрешения, так и карт материалов на всех этапах… pic.twitter.com/rDD5GzNinY

— ИИ в Мете (@AIatMeta) 2 июля 2024 г.

Глядя на исследовательскую работу и видео, которыми поделилась команда ИИ Meta, кажется, что модель 3D Gen может создавать короткие видео с 3D-активом в действии. И все это менее чем за одну минуту.

Не вдаваясь в технические аспекты, вы найдете это в исследовательской работе Меты; давайте рассмотрим, что это такое и чем оно отличается от существующих моделей:

Ключевая особенность:

• Высокая точность воспроизведения, гарантирующая точное соответствие 3D-моделей текстовым описаниям.
• Поддерживает физически корректный рендеринг (PBR) для реалистичных световых эффектов.
• Генеративное ретекстурирование позволяет настраивать существующие 3D-модели.
• Представляет объекты в пространстве вида, объемном пространстве и пространстве UV (текстуры).

Так как же модель 3D Gen AI от Meta соотносится с существующими моделями генерации 2D-изображений, например, Midjourney?

Основные отличия:

1. Тип вывода:
   • Мета 3D Gen: Создает 3D-модели.
   • Середина пути: Создает 2D-изображения.
2. Сложность и применение:
   • Мета 3D Gen: Используется для сложных приложений, требующих 3D-моделей, таких как VR/AR и игры.
   • Середина пути: Специализируется на создании изображений для цифрового искусства и дизайна.
3. Настройка:
   • Мета 3D Gen: Позволяет изменять текстуры 3D-моделей с использованием дополнительных текстовых входных данных.
   • Середина пути: Позволяет итеративно улучшать изображения посредством текстовых корректировок.
4. Рендеринг:
   • Мета 3D Gen: Поддерживает физически корректный рендеринг для реалистичного освещения.
   • Середина пути: Основное внимание уделяется стилям художественной визуализации.
5. Представление:
   • Мета 3D Gen: Представляет объекты в нескольких пространствах (вид, объем, UV).
   • Середина пути: Представляет объекты только в виде 2D-изображений.

Как вы заметите, инструменты искусственного интеллекта для преобразования текста в изображение и текста в 3D-активы имеют разные рынки и приложения. Будут некоторые совпадения, но в конечном итоге они должны дополнять друг друга. Мы будем держать вас в курсе, когда инструмент будет выпущен для публичной бета-версии.