ИИ-ускорители были представлены в рамках мероприятия Vision 2024.
У Intel Gaudi 3 на 50% выше производительность инференса в сравнении с NVIDIA H100. Эффективность больше на 40%, а скорость обучения нейросетей выше в 1,7 раза. Массовое производство устройств стартует в 3 квартале текущего года. Также будет и облачная версия для разработчиков ПО.
Gaudi 3 — это уже третье поколение ускорителей ИИ от Intel. Над ускорителями работали специалисты Habana Labs, которую Intel приобрела в 2019 году за 2 миллиарда долларов.
Производятся новые ИИ-ускорители с использованием 5-нм техпроцесса TSMC. Каждый состоит из двух кристаллов по 64 ядра TPC 5 поколения и 8 движков MME. Объем SRAM составляет 96 МБ, ее скорость 12,8 ТБ/с. Также имеется 128 ГБ памяти HBM2e и 24 контроллера Ethernet RDMA.
Gaudi 3 предложат в двух версиях. Первая — OAM HL-325L с TDP на уровне 900 Вт и производительностью 1835 TFLOPS FP8. Вторая — двухслотовая карта расширения PCIe с TDP на уровне 600 Вт. Производительность при этом та же, 1835 TFLOPS FP8.
Беда в том, что сравнение идёт с H100, когда уже существует более быстрая H200. В скором времени будет выпущена B100 - 192 gb памяти HBM3e, которая будет гораздо быстрее H200 (примерно в 2 раза). А к тому времени, когда начнёт выпускаться, то о чём тут написано, уже пойдёт производство еще более мощного ИИ-ускорителя B200, оснащенного 12-слойными чипами памяти общей емкостью 288 ГБ. Разница в производительности между ними будет в несколько раз!!!
А в остальном новость конечно крутая)))
было бы интересна чтоб такие ускорители нашли свое примени в пека для игор и были обаятельным требованием наравне с видеокартой ато игор то нет. процессоры пыхтят и потеют.
от твоей грамматики корёжит. класс коррекции посещал?