Графика, создаваемая искусственным интеллектом Nvidia на основе фотографий, поражает

Если вы думали, что новейшая технология ускорения частоты кадров DLSS 3 от Nvidia была довольно хитрой, то вы, как говорится, еще ничего не видели. Позвольте представить вам NeRFs или Neural Radiance Fields, ужасающе умный метод ускоренного ИИ для создания полноценных 3D сцен из горстки фотографий.

Идея концептуально проста. Возьмите несколько 2D-изображений чего-либо. Пропустите их через некоторые алгоритмы нейросети. Рендеринг вещи или вещей - или целой сложной сцены - в полном 3D. Причем в реальном времени.

Это похоже на сканирование фотографий для создания 3D-сцен, но с добавлением искусственного интеллекта. По крайней мере, так утверждают продавцы. NeRF не являются уникальными для Nvidia. Но компания делает некоторые особенно интересные вещи с NeRFs, которые имеют отношение к компьютерным играм, а не к созданию фильмов, где до сих пор было много шума вокруг NeRFs.

Вы можете посмотреть это подробное видео от Corridor Crew показывающее, насколько невероятна технология NeRF для создания фотореалистичного видео из нескольких фотографий. Существуют даже приложения на основе NeRF для смартфонов Android и Apple, такие как Luma AI, так что вы можете сами опробовать эту технологию.

Возвращаясь к ПК, следует отметить, что помимо того, что весь этот процесс необычайно умен, он предлагает ряд непосредственных и очевидных преимуществ. Вместо того, чтобы использовать детальные 3D-модели и множество текстур высокого разрешения, требующих большой пропускной способности, для визуализации сложной сцены достаточно нескольких фотографий или изображений.

Nvidia доводит это до новых пределов, создавая так называемые "компактные" NeRF, которые требуют в 100 раз меньше данных для рендеринга сцены. Преимущества, которые это может дать с точки зрения пропускной способности и хранения данных, достаточно очевидны.

Однако предыдущие реализации технологии NeRF требовали значительного времени для обучения и обработки модели ИИ. "Мгновенные" NeRF от Nvidia, напротив, могут выполнить весь процесс за несколько секунд.

Все это явно указывает на довольно заманчивое направление, а именно на использование NeRF для рендеринга игр в реальном времени. Представьте себе потенциальную пропускную способность и производительность, заменив все эти данные модели, текстуры и освещения для игровой сцены несколькими изображениями. А потом добавьте еще и то, что результаты выглядят более реалистично, чем в обычных игровых движках и искусстве.

Никто не утверждает, что все это уже не за горами. Но технология NeRF развивается невероятно быстро. Концепция появилась всего около двух лет назад, а она уже дает невероятные результаты. Совершит ли она революцию в компьютерных играх, покажет время. А пока мы ждем, вы можете углубиться в исследовательскую работу Nvidia по этой теме здесь.