NVIDIA прогнозирует, что DLSS 10 будет предлагать полноценный нейронный рендеринг

NVIDIA очень рано сделала ставку на ИИ и теперь пожинает плоды, о чем свидетельствует невероятный рост компании за последний год. Все началось с Deep Learning Super Sampling, или DLSS, - технологии, направленной на ускорение производительности игр за счет возможностей ИИ (в частности, обученной нейронной сети). Именно тогда NVIDIA начала устанавливать тензорные ядра во все видеокарты GeForce, начиная с серии RTX; с появлением трассировки лучей в реальном времени возникла острая необходимость в максимально возможном увеличении производительности.

Со временем NVIDIA усовершенствовала DLSS. Версия 2.0 обеспечила гораздо более высокое качество, сохранив статус ускорителя производительности; версия 3.0 добавила функцию Frame Generation, которая открыла новые уровни производительности, особенно в играх, работающих на CPU; а версия 3.5 сфокусировалась на улучшении качества трассировки лучей при масштабировании с помощью новой функции Ray Reconstruction, которая только что появилась в Cyberpunk 2077 и получила широкое признание.

В заключительной части "AI Visuals", организованного Digital Foundry, вице-президент NVIDIA по прикладным исследованиям в области глубокого обучения Брайан Катанзаро сказал, что, по его мнению, будущие выпуски DLSS, возможно, 10-я версия, смогут позаботиться обо всех аспектах рендеринга в нейронных системах на базе ИИ.

В 2018 году на конференции NeurIPS мы представили очень крутую демонстрацию мира, который рендерился нейросетью, причем полностью, но управлялся игровым движком. То есть, по сути, мы использовали игровой движок для генерации информации о том, где что находится, а затем использовали ее в качестве входных данных для нейронной сети, которая выполняла весь процесс рендеринга, то есть отвечала, по сути, за каждую часть процесса рендеринга. Просто запустить эту систему в реальном времени в 2018 году было своего рода визионерской идеей. Качество изображения, которое мы получили, конечно, и близко не стояло с Cyberpunk 2077, но я думаю, что в долгосрочной перспективе именно в этом направлении будет развиваться графическая индустрия. Мы будем все больше и больше использовать генеративный ИИ в графическом процессе. Причина этого, опять же, та же, что и для всех других применений ИИ: мы можем научиться гораздо более сложным функциям, просматривая огромные массивы данных, чем при ручном построении алгоритмов снизу вверх.

Я думаю, что мы добьемся повышения реалистичности и, надеюсь, удешевим создание потрясающих AAA-окружений за счет перехода к гораздо более нейронному рендерингу. Я думаю, что это будет постепенный процесс. Особенность традиционного 3D-конвейера и игровых движков в том, что он управляем: вы можете поручить командам художников создавать вещи, и у них будут последовательные сюжеты, локации, все остальное. С помощью этих инструментов можно построить целый мир.

Нам обязательно понадобятся эти инструменты. Я не верю, что искусственный интеллект будет создавать игры таким образом, что вы просто напишете абзац о создании киберпанк-игры, а потом выйдет что-то такое же хорошее, как Cyberpunk 2077. Я думаю, что, скажем, DLSS 10 в далеком будущем будет полностью нейронной системой рендеринга, которая будет взаимодействовать с игровым движком различными способами, и благодаря этому игра будет более захватывающей и более красивой.

Катанзаро упоминает вот эту игру, впервые продемонстрированную в декабре 2018 года на конференции NeurIPS в Монреале. Само собой разумеется, качество было не очень, но ИИ способен значительно улучшиться за относительно короткий промежуток времени.

Не исключено, что лет через десять DLSS сможет полностью заменить традиционные методы рендеринга. NVIDIA уже работает над более нейронными методами, такими как радиальное кэширование и сжатие текстур, которые могут быть добавлены в DLSS по мере его расширения для замены дополнительных частей процесса рендеринга. Однако если это направление окажется верным, NVIDIA, возможно, придется значительно увеличить количество тензорных ядер в своих ГП.