NVIDIA H100 NVL: Промяна на играта в ускореното изчисление

Въвеждането на графични процесори (GPU) направи революция в компютърната индустрия, като NVIDIA беше водеща. Най-новото предложение на компанията, NVIDIA H100 NVL, е доказателство за неговия ангажимент за разширяване на границите на възможното в ускореното изчисление.

Безпрецедентна производителност и мащабируемост

- NVIDIA H100 NVL е чудо на съвременната технология, предлагащо безпрецедентна производителност, мащабируемост и сигурност.

NVIDIA NVLink Switch System му позволява да управлява всяко натоварване с лекота. Тази система дава възможност за взаимно свързване на до 256 H100 графични процесора, което води до значително увеличение на ускорените изчислителни възможности.

Освен това NVIDIA NVL има специализиран Transformer Engine. Също така този двигател е предназначен да обработва езикови модели с трилиони параметри, задача, която повечето GPU биха намерили за трудна.

Комбинираните технологични пробиви на NVIDIA H100 NVL могат да ускорят големите езикови модели (LLM) с удивителните 30 пъти в сравнение с предишното поколение, което също го прави лидер в разговорния AI.

NVIDIA H100 NVL Supercharged Large Language Model Inference

- NVIDIA H100 NVL не е само сурова сила; става дума и за финес. NVIDIA H100 с NVLink мост осигурява оптимална производителност за LLM с до 175 милиарда параметри, като използва своя Transformer Engine, NVLink и 188GB HBM3 памет.

Освен това тази комбинация позволява лесно мащабиране във всеки център за данни, въвеждайки LLMs в основния поток.

Сървърите, оборудвани с NVIDIA H100 NVL GPU, могат да увеличат производителността на модела GPT-175B с до 12 пъти спрямо системите NVIDIA DGX A100.

Това повишаване на производителността се постига при запазване на ниска латентност в сценарии на центрове за данни с ограничено захранване, демонстрирайки ефективността на H100 NVL.

Корпоративно AI приемане на NVIDIA H100 NVL

Възприемането на AI в предприятията вече е масово и организациите се нуждаят от цялостна, готова за AI инфраструктура. The NVIDIA H100 NVL Графичните процесори за масови сървъри идват с петгодишен абонамент, включително корпоративна поддръжка, за софтуерния пакет NVIDIA AI Enterprise.

Този пакет рационализира приемането на AI, като гарантира, че организациите имат достъп до AI рамки и технологии, необходими за изграждане на H100-ускорени AI процеси, като чатботове за AI, двигатели за препоръки, визуален AI и др.

Сигурно ускоряване на работните натоварвания

- NVIDIA H100 NVL не е само производителност и мащабируемост; става дума и за сигурност. Графичният процесор е предназначен за безопасно ускоряване на работни натоварвания, вариращи от корпоративни до екзамащаб.

Той има четвърто поколение Tensor Cores и Transformer Engine с FP8 точност, което позволява до 4 пъти по-бързо обучение за GPT-3 (175B) модели в сравнение с предишната итерация.

Комбинацията от четвърто поколение NVLink, която осигурява 900 GB/s връзка GPU към GPU; NDR Quantum-2 InfiniBand мрежа, която ускорява комуникацията от всеки GPU през възли; PCIe Gen5; и софтуерът NVIDIA Magnum IO позволява ефективно мащабиране от малки корпоративни системи до масивни, обединени GPU клъстери.

Извод за дълбоко обучение в реално време на NVIDIA H100 NVL

- NVIDIA H100 NVL разширява лидерството на NVIDIA в пазарните изводи с няколко подобрения, които ускоряват изводите с до 30 пъти и осигуряват най-ниската латентност.

Тензорните ядра от четвърто поколение ускоряват всички прецизности, включително FP64, TF32, FP32, FP16, INT8 и сега FP8, като намаляват използването на паметта и увеличават производителността, като същевременно запазват LLM точността.

Exascale високопроизводителни изчисления

- NVIDIA H100 NVL утроява операциите с плаваща запетая в секунда (FLOPS) на тензорните ядра с двойна точност, осигурявайки 60 терафлопа FP64 изчисления за HPC. HPC приложенията, вдъхновени от изкуствен интелект, също могат да използват прецизността TF100 на H32, за да достигнат един петафлоп производителност за операции с умножение на матрици с единична точност, като същевременно не изискват модификации на кода.

NVIDIA H100 NVL ускорен анализ на данни

- NVIDIA H100 NVL доставя изчислителната мощност – заедно с 3 терабайта в секунда (TB/s) честотна лента на паметта за GPU и мащабируемост с NVLink и NVSwitch – за справяне с анализа на данни с висока производителност и мащаб за поддръжка на масивни набори от данни.

Архитектурата на центъра за данни на NVIDIA, когато се комбинира с NVIDIA Quantum-2 InfiniBand, Magnum IO софтуер, GPU-ускорен Spark 3.0 и NVIDIA RAPIDS, е уникално оборудвана за ускоряване на тези масивни работни натоварвания с ненадминати нива на производителност и ефективност.

Готово за предприятие използване

NVIDIA H100 NVL включва второ поколение Multi-Instance GPU (MIG) технология, която увеличава максимално използването на GPU чрез сигурно разделяне на до седем отделни инстанции.

Също така с поверителна компютърна поддръжка, the NVIDIA H100 NVL позволява сигурно използване от край до край с множество клиенти, което го прави идеален за среди на доставчици на облачни услуги (CSP).

Вградено поверително изчисление с NVIDIA H100 NVL

NVIDIA Confidential Computing е вградена функция за сигурност на Hopper архитектурата, която прави NVIDIA H100 NVL първият в света ускорител с поверителни изчислителни възможности.

Потребителите могат да поддържат сигурността и целостта на своите данни и приложения, докато се възползват от ненадминатото ускорение на H100 GPU.

Несравнима производителност за широкомащабни AI и HPC

Архитектурата NVIDIA Grace Hopper CPU+GPU, специално създадена за ускорени изчисления в терабайтов мащаб и позволяваща 10 пъти по-голяма производителност на голям модел AI и HPC, също ще се захранва от Hopper Tensor Core GPU.

Процесорът NVIDIA Grace използва гъвкавостта на архитектурата на Arm, за да създаде архитектура на процесора и сървъра, проектирана отдолу нагоре за ускорено изчисление.

Графичният процесор Hopper е свързан към процесора Grace чрез ултра-бързия интерфейс чип към чип на NVIDIA, който осигурява 900GB/s честотна лента, което е 7 пъти по-бързо от PCIe Gen5.

Спецификации на продукта

Ето сравнителна таблица на H100 NVL в различни форм фактори:

Последната мисъл

- NVIDIA H100 NVL променя играта в света на ускорените изчисления. Неговата производителност, мащабируемост и сигурност ще трансформират AI, HPC, а също и анализа на данни. Компютрите, задвижвани от H100 NVL, са бъдещето.

H100 NVL показва отдадеността на NVIDIA към ускореното изчисление, като презарежда изводите за голям езиков модел и също така осигурява тайно изчисление. H100 NVL ще оформи бъдещето на компютрите.

Youtube видео за NVIDIA H100 NVL

Може да харесате още

Ползите от облачните изчисления за малкия бизнес

10-те най-добри компютърни игри на всички времена

Често задавани въпроси