NVIDIA Omniverse создаст реалистичные анимации на основе ИИ в таких ААА-играх, как S.T.A.L.K.E.R. 2 и Fort Solis

NVIDIA объявила, что ее платформа Omniverse закладывает основу для генеративного ИИ в таких играх, как STALKER 2 и Fort Solis с RTX.

На GDC NVIDIA объявила, что разработчики игр используют ее платформу Omniverse и недавно анонсированные облачные сервисы AI Foundations, которые позволяют пользователям работать с пользовательскими LLM и генеративным ИИ, обученным на их собственных данных. И эта технология позволяет разработчикам игр впервые попробовать использование технологии генеративного ИИ для улучшения создания игр и игровых активов.

Последнее обновление генеративного ИИ Omniverse Audio2Face включает поддержку общей лицевой анимации и улучшение качества синхронизации губ на разных языках. В нем также реализованы новейшие технологии рендеринга RTX в реальном времени и первые в реальном времени лучевые подповерхностные рассеивающие тени для повышения реалистичности.

В качестве примера NVIDIA демонстрирует Ominverse ACE или Avatar Cloud Engine, который можно использовать для оживления аватаров или моделей, создавая выразительные голоса персонажей с помощью ИИ речи и перевода на базе NVIDIA Riva или используя технологию Omniverse Audio2Face для 2D и 3D анимации персонажей на базе ИИ. Ниже представлен предварительный просмотр технологии NVIDIA Omniverse Audio2Face в действии:

Что еще более впечатляет в этом превью, так это то, что оно не только полностью сгенерировано ИИ и выглядит фотореалистично с общим улучшением качества лицевой анимации и синхронизации губ на нескольких языках, но и использует технологии NVIDIA RTX. В сцене выше используется полное лучевое подповерхностное рассеивающее затенение в реальном времени или SSS для дальнейшего улучшения визуальной достоверности.

Сотрудники GSC Game World используют технологию NVIDIA Omniverse Audio2Face в своей грядущей S.T.A.L.K.E.R. 2 Head of Chernobyl, а вторая студия, Fallen Leaf, собирается использовать эту технологию в своем научно-фантастическом триллере от третьего лица Fort Solis.

На другой сессии разработчиков Ксихао Фу из Tencent рассказывает о рендеринге волос в реальном времени с помощью трассировки лучей. Проблема с рендерингом волос в реальном времени заключается в том, что приходится идти на компромисс между производительностью и качеством, так как решение на основе карт волос выглядит стандартно, но обеспечивает лучшую производительность, а реализация на основе прядей волос выглядит намного лучше с точки зрения визуального восприятия, но требует много производительности для рендеринга. Ксихао хочет решить эту проблему, используя технологии NVIDIA RTX, такие как трассировка лучей и DLSS. Сравнение проводится с Unreal Engine 5, который использует технику темпорального сглаживания/апскейлинга, с пространственно-временным фильтром.

Спойлер

+ ещё 6 картинок

Первым блоком в реализации такого подхода в трассировке лучей является примитив B-Spline, но поскольку он недоступен для DXR, единственным вариантом является использование пользовательского примитива. После создания прядей в DXR с помощью трассировки лучей, на графике производительности показано, как NVIDIA GeForce RTX 3090 обеспечивает примерно на 50% более высокую производительность при использовании RT по сравнению с собственным решением. В другом сравнении, реализация RT оказывается быстрее, чем путь растеризации в ряде различных моделей на основе прядей-волос.

Спойлер

Вывод сделан следующий:

• Трассировка лучей быстрее растеризации при большом количестве сегментов.
• Трассировка лучей более эффективна при низком разрешении: подходит для конвейера апсемплинга (т.е. DLSS).

Это приводит нас ко второй проблеме, обсуждаемой в данной теме, а именно к шуму, связанному с рендерингом волос на основе прядей. Для решения этой проблемы предлагается пространственно-временной фильтр, поскольку трассировка с несколькими выборками имеет линейные и сублинейные издержки в производительности.

Спойлер

Как показано на рисунках ниже, пространственная фильтрация дает гораздо лучшие результаты, которые выглядят еще лучше, если применить временные фильтры.

Спойлер

+ ещё 3 картинки

Эта технология рендеринга волосяных прядей определенно поможет сделать генеративный контент NVIDIA Omniverse еще лучше. Tencent Games также использует другой набор инструментов Omniverse, известный как USD или Universal Scene Description, который поможет разработчикам наладить взаимодействие между их любимыми инструментами.