Runway представляет Gen-4: новый прорыв в генерации видео с уникальным стилем и последовательностью

Runway представила Gen-4 — свою новейшую модель искусственного интеллекта для создания видео. Компания утверждает, что данная система эффективно справляется с одной из основных проблем в области AI-видео: обеспечением стабильности персонажей и объектов на протяжении различных сцен.

По информации от Runway, Gen-4 генерирует более оживленные видеоработы с правдоподобными движениями, при этом поддерживая согласованность мотивов, объектов и стилистики на протяжении всех кадров. «Gen-4 задает новый стандарт в видеопроизводстве и значительно превосходит свою предшественницу, Gen-3 Alpha,» — заявляет Runway.

Одним из ключевых технических достижений Gen-4 является возможность сохранять постоянные образы персонажей, использующих лишь одно опорное изображение, несмотря на смену освещения, местоположений и обработки. Модель сочетает визуальные ссылки с текстовыми указаниями, что позволяет поддерживать стилизацию на протяжении всего видео.

По мнению Runway, Gen-4 также является «значительным шагом вперед в области генеративных визуальных моделей, способных имитировать физические свойства реального мира». Система дает возможность пользователям размещать любые объекты или персонажей в различных локациях, при этом сохраняя их последовательность.

Runway подготовила несколько демонстрационных видеороликов, чтобы продемонстрировать эти возможности. В видео «Нью-Йорк — зоопарк» показана последовательность персонажей, где одни и те же животные появляются в различных сценах Нью-Йорка, комбинируя изображения животных с фотоснимками города.

В ролике «The Herd» демонстрируется сцена погони по ночному коровьему полю, когда Gen-4 удерживает постоянство внешнего вида персонажей, основываясь на нескольких референсных изображениях. В видео «The Retrieval», которое показывает исследователей, ищущих загадочный цветок, модель Gen-4 была использована для создания менее чем за неделю.

Модель преобразования изображений в видео Gen-4 доступна для платных подписчиков и клиентов категории Enterprise. Функции справки будут добавлены в последующих обновлениях. Дополнительные примеры можно найти на веб-сайте RunwayML.

RunwayML зарекомендовала себя как важный участник рынка видеотехнологий на основе искусственного интеллекта, с оценкой примерно 4 миллиарда долларов и годовой выручкой в размере 80 миллионов долларов в декабре 2024 года, с прогнозом дохода в 300 миллионов долларов в 2025 году. Это самый сильный западный конкурент Sora от OpenAI.

Источник