Google DeepMind представила Genie 3 - нейросеть для генерации интерактивных 3D-миров

Согласно заявлению разработчиков, Genie 3 может создавать миры и поддерживать их целостность в течение нескольких минут при разрешении 720p и частоте 24 кадра в секунду. Управление в сгенерированных пространствах осуществляется с помощью стандартных кнопок передвижения и прыжка. Модель способна воспроизводить различные сценарии, от реалистичных пейзажей, таких как поездка по вулканической местности или прогулка во время урагана, до фантастических и анимированных миров в стиле оригами или японского сада.

Одной из ключевых особенностей стала возможность изменять мир с помощью текстовых команд уже после его создания, что в Google назвали promptable world events. Это позволяет, например, менять погодные условия или добавлять объекты в реальном времени.

В Google DeepMind отмечают, что Genie 3 является важным шагом в развитии так называемых мировых моделей — систем ИИ, которые могут симулировать аспекты реальности. Основной целью проекта называется создание неограниченного количества симуляций для обучения других ИИ-агентов, таких как роботы или автономные системы. Модель уже протестировали с агентом SIMA, который выполнял поставленные задачи в сгенерированных мирах.

При этом разработчики признают и текущие ограничения технологии. К ним относятся ограниченное пространство действий для агента, неточное воссоздание реальных локаций и небольшая продолжительность непрерывного взаимодействия. На данный момент Genie 3 доступна в рамках закрытого предварительного доступа для небольшой группы исследователей и авторов контента.