Новый этап в редактировании видео: Luma анонсировала ИИ-редактор Ray3 Modify с уникальными возможностями трансформации контента

Компания Luma, занимающаяся разработкой видео и 3D-моделей с применением искусственного интеллекта, анонсировала запуск новой нейросети под названием Ray3 Modify.

Этот инструмент предоставляет возможность редактировать существующие видеоматериалы, используя референсные изображения персонажей, при этом сохраняя актерскую игру из оригинального видео.

Пользователи могут определить начальные и конечные кадры, чтобы модель могла создать промежуточные фрагменты.

Представители компании отметили, что Ray3 Modify эффективно решает задачи, касающиеся сохранения характеристик человека во время редактирования или генерации визуальных эффектов. Нейросеть лучше всего учитывает оригинальное видео, сохраняя движения, тайминг, направление взгляда и эмоциональную передачу. Это дает возможность студиям применять живых актеров в творческих проектах.

С помощью этой новой технологии пользователи могут задавать образ персонажа для изменения видео, модифицируя внешний вид актера. Все детали, связанные с костюмами, внешним сходством и идентичностью, остаются неизменными на протяжении всей работы.

«Генеративные видеомодели обладают впечатляющей выразительностью, но их управление вызывает трудности. Ray3 Modify представляет собой синтез высоких технологий и реальности, обеспечивая творческим специалистам полный контроль. Они могут снимать сцены, а затем незамедлительно вносить изменения, меняя локацию, костюмы или даже “переснимая” сцену с помощью ИИ без необходимости физического присутствия», — прокомментировал соучредитель и CEO Luma AI Амит Джейн.

Новая модель доступна на платформе Dream Machine. Запуск произошел параллельно с привлечением $900 миллионов инвестиций в раунде, который возглавила саудовская компания Humain. В числе инвесторов также оказались ранее вложившиеся в проект: a16z, Amplify Partners и Matrix Partners.

Стартап рассчитывает построить кластер ИИ мощностью 2 ГВт в Саудовской Аравии в сотрудничестве с Humain.

Упомянем, что в мае американские технологические компании подписали соглашение с саудовской фирмой для активного развития сферы искусственного интеллекта в регионе.

В декабре стартап в области ИИ Runway представил новую видеомодель Gen 4.5, которая обошла аналогичные решения конкурентов в независимых тестах.