Microsoft демонстрирует обновлённый ИИ-клон Quake II с нейросетью Muse: быстрее, с высоким разрешением и новыми возможностями

Microsoft представила техническую демонстрацию нейросетевой версии игры Quake II, использующей систему Muse. Команда проекта обновила алгоритм машинного обучения, что позволило добиться более высокой скорости генерации изображений с увеличенным разрешением.

В феврале Microsoft анонсировала нейросеть Muse и архитектуру World and Human Action Model (WHAM), которые позволяют в реальном времени создавать игровые эпизоды. Модель обрабатывает команды игрока, учитывая их для формирования следующих кадров. Теперь компания представила новую версию — World and Human Action MaskGIT Model (WHAMM) — вместе с обновленной демонстрацией нейросетевой версии Quake II.

Вот что удалось улучшить разработчикам:

Увеличенная скорость генерации. WHAMM способен создавать до 10 кадров в секунду, в то время как предыдущая версия могла реализовать лишь 1 кадр.

Новая игра для обучения. Первая версия сети была обучена на игре Bleeding Edge, а обновленная версия — на Quake II.

Оптимизированный датасет. Для обучения старой версии использовались данные за семь лет игрового процесса, а для новой версии — всего за одну неделю.

Большее разрешение изображения. WHAMM выдаёт кадры с разрешением 640×360 пикселей, тогда как предшественник генерировал лишь 300×180.

Исследователи оценивают эксперимент как успешный, однако подчеркивают существующие ограничения, которые следует учитывать:

Нейронная сеть не в состоянии точно воспроизвести оригинальную игру Quake II. Она лишь воспроизводит кадры из обучающего датасета, поэтому полного соответствия с оригиналом ожидать не стоит.

Некоторые противники в нейросетевой версии игры могут отображаться некорректно.

Контекстная длина текущей модели составляет 0,9 секунды (9 кадров при 10 FPS), что приводит к исчезновению объектов, выходящих за эти пределы.

На данный момент WHAMM была обучена лишь на небольшой части одного уровня Quake II.

Пробную нейросетевую версию Quake II можно протестировать в сервисе Copilot.