NVIDIA GeForce RTX 4090 обеспечивает до 15 раз большую пропускную способность ИИ по сравнению с процессорами ноутбуков

Ускорение NVIDIA TensorRT-LLM для Windows привело к впечатляющему повышению производительности на платформе ПК с Windows. Появились впечатляющие достижения и новые функции, которые были добавлены к набору функций NVIDIA RTX «AI PC», и ситуация становится еще лучше, когда компания демонстрирует огромные показатели производительности со своим флагманским графическим процессором GeForce RTX 4090.

В новом блоге AI-Decoded NVIDIA поделилась тем, как существующая линейка графических процессоров превосходит всю экосистему NPU, которой удалось достичь производительности лишь в 50 TOPS в 2024 году. 1321 TOPS с использованием GeForce RTX 4090, что делает его самым быстрым настольным решением искусственного интеллекта для запуска LLM и многого другого. Это также самая быстрая игровая видеокарта на планете.

Графические процессоры NVIDIA GeForce RTX предлагают до 24 ГБ видеопамяти, а графические процессоры NVIDIA RTX — до 48 ГБ видеопамяти, что делает их настоящими зверями, когда дело доходит до обработки LLM (больших языковых моделей), поскольку эти рабочие нагрузки требуют больших объемов видеопамяти. Аппаратное обеспечение NVIDIA RTX поставляется не только с выделенной видеопамятью, но и с ускорением AI с помощью тензорных ядер (аппаратное обеспечение) и вышеупомянутого TensorRT-LLM (программное обеспечение).

Количество сгенерированных токенов во всех размерах пакетов на графических процессорах NVIDIA GeForce RTX 4090 очень быстрое, но оно значительно увеличивается, более чем в 4 раза, при включении ускорения TensorRT-LLM.

NVIDIA теперь делится некоторыми новыми тестами, используя платформу Jan.ai с открытым исходным кодом, которая также недавно интегрировала TensorRT-LLM в свое локальное приложение чат-бота. Этот чат-бот использует модели искусственного интеллекта, такие как Llama или Mistral, в простом в использовании решении. Поставщик программного обеспечения теперь предложил взглянуть на некоторые тесты, выполняемые на графических процессорах NVIDIA GeForce RTX 40 в сравнении с процессорами ноутбуков с выделенными процессорами AI NPU.

NVIDIA GeForce RTX 4090 обеспечивает улучшение в 8,7 раз по сравнению с процессором AMD Ryzen 9 8945HS без TensorRT-LLM, и это преимущество увеличивается до 15 раз при использовании ускорения (прирост на 70% по сравнению с конфигурацией без TensorRT-LLM).

Вы можете обрабатывать до 170,63 токенов в секунду против 11,57 токенов в секунду на процессоре AMD. Даже с графическим процессором NVIDIA GeForce RTX 4070 для ноутбуков вы получаете ускорение до 4,45 раз. Еще более интересно то, что компания также поделилась цифрами, используя RTX 4090 в конфигурации eGPU, чтобы продемонстрировать, как можно еще больше повысить производительность ноутбуков с помощью внешнего графического процессора для рабочих нагрузок искусственного интеллекта. Эта конфигурация обеспечивает прирост производительности в 9,07 раза по сравнению с тем же процессором ноутбука AMD.

NVIDIA недавно изложила текущую картину вычислительной мощности искусственного интеллекта и показывает, как ее процессоры GeForce RTX 40 для настольных ПК масштабируются от 242 TOPS на начальном уровне до 1321 TOPS на верхнем уровне. Это увеличение в 4,84 раза на самом нижнем уровне и в 26,42 раза на самом верхнем по сравнению с последними 45-50 TOPS AI NPU, которые будут на SOC в этом году.

Даже варианты NVIDIA GeForce RTX 40 для ноутбуков, такие как RTX 4050, начинаются с производительности 194 TOPS, что в 3,88 раза больше, чем у самого быстрого NPU, в то время как чип для ноутбука RTX 4090 обеспечивает ускорение в 13,72 раза с его 686 TOPS.

Снова и снова NVIDIA демонстрирует, насколько она впереди конкурентов в сегменте искусственного интеллекта, и эти тесты еще раз подтверждают, что если вы используете искусственный интеллект, то у NVIDIA есть подходящее оборудование.

Комментарии: 27
Ваш комментарий

С калькуляторами еще можно сравнить, ваще шикарные цифры будут.

8

Ага вот только пускай энергопотребление опустят до уровня CPU и тогда пускай сравнивают

7

сравнивают с чем? с CPU? CPU вообще не может в ИИ.

-3

За новостями следить нужно

https://www.amd.com/en/products/processors/consumer/ryzen-ai.html#technology

0

А еще и теплопакету и по цене) за эти деньги можно ноут купить.

0

Хорошо. Трассировка лучей, DLSS и генерация кадров есть - больше мне от этих их ИИ и не надо.

6

скоро будут вещи интереснее игр, как сейчас stable diffusion. ИИ сможет сам играть в что угодно лучше человека наверное.

1

Лучи, dlss, генерация, различные виды сглаживания, G-sync, Resizable BAR - мир топчикового гейминга👍💪🙂 Играй, как задумано!

-2

Ты забыл DLAA и DLDSR, второй у меня по дефолту включён во всех играх, без него уже не могу, детализацию запредельную даёт!

0

я гдето видел что 7900xtx грубая производительность/цена лучше всех, но у амд плохо с поддержкой видимо. Не хотелось бы поддерживать жадных манипулятивных Нвидиа но пока нет выбора у тех кому интересен ии. Может Амд чтото сделает с етим. А может они в сговоре.

0

у амд теоретическая математическая производительность была обычно выше но реальная производительность то нет. не знаю почему. загадка. вроде как тоу потому что нв эффективно использует 8-битные кусочки а амд 16-битные. поскольку нв больше на рынке и скорее все оптимизировано под меньший размер разбивки амд просто молотит воздух. но вроде как они это решили асинхронными шейдерами и какими то штуками еще давно но производительности то нет.
а что до производительности тут стоит в основном ориентироваться на количество терафлопс.

0

ну вот узнаем какие будут карты в конце 2024 или весной 2025 , чтоб в Comfyui чтото творить быстрее. для меня даже 4070ти супер трудно будет купить может потом подешевеет 40 серия после выхода 50х. Нвидиа 70-80% карт в мире продает амд 15%. плохо что нет конкурентов и делают что хотят

0

только б\у если подешевеет. никогда не видел чтоб карты прям серьезно дешевели от начальной цены.
а что до логики цена производительности , то она обычно сходится где то в нижние-среднем сегменте, а есть определенные задачи к пека. поэтому руководствоваться ей не всегда уместно а так то за флагманские решения всегда придется переплавить любителям быстрой езды.

0

собственно что и очевидно. кому нужен ии в пека ваще было бы лучше продавать какой нибудь специализированный ускоритель 4-6-битный разрядный да с сотней гигабайт памяти тогда был сильно быстрее видеокарты. а иметь блоки в процессоре, даже если это будет на базе гпу процессора сомнительное удовольствие и непонятно зачем. переводить звук в текст и видео поправлять только если аппаратно для связи с полноценным ии

0

А потянет ли она 4к 60 фпс - Star Wars Outlaws?!

Вряд-ли.. и причина тут не в "зелёной" карточке.

-2

правильно нужно выбирать красные карты. В сухой производительности они топ, а зелёные калл, и длсс их не спасёт, не то что трассировка)))

-5

Чел, на недавней получасовой презентации для стримеров игру запускали на 4080 в 4к на ультрах в 60 фпс.

1

Понятное дело, что 4090, это король гейминга👑💪👍 Скоро ему на смену придёт топчиковая 5090 и Лизке вновь придётся не сладко)

-4