NVIDIA H100 NVL: Zmena hry v zrýchlenej výpočtovej technike

Uvedenie grafických procesorových jednotiek (GPU) spôsobilo revolúciu v počítačovom priemysle, pričom NVIDIA je na čele jednotky. Najnovšia ponuka spoločnosti, NVIDIA H100 NVL, je dôkazom jej záväzku posúvať hranice toho, čo je možné v zrýchlenej výpočtovej technike.

Bezprecedentný výkon a škálovateľnosť

NVIDIA H100 NVL je zázrakom modernej technológie, ktorý ponúka bezprecedentný výkon, škálovateľnosť a bezpečnosť.

Systém NVIDIA NVLink Switch System umožňuje jednoducho zvládnuť akúkoľvek pracovnú záťaž. Tento systém umožňuje prepojenie až 256 GPU H100, čo vedie k výraznému zvýšeniu zrýchlených výpočtových schopností.

Okrem toho má NVIDIA NVL špecializovaný Transformer Engine. Tento engine má tiež zvládnuť jazykové modely s biliónmi parametrov, čo je úloha, ktorú by väčšina GPU považovala za ťažkú.

Kombinované technologické objavy NVIDIA H100 NVL môžu zrýchliť veľké jazykové modely (LLM) o úžasných 30-násobok oproti predchádzajúcej generácii, čo z neho robí lídra v konverzačnej AI.

NVIDIA H100 NVL Supercharged Large Language Model Inference

NVIDIA H100 NVL nie je len o surovej sile; je to aj o jemnosti. NVIDIA H100 s mostom NVLink poskytuje optimálny výkon pre LLM s až 175 miliardami parametrov pomocou svojho Transformer Engine, NVLink a 188 GB pamäte HBM3.

Táto kombinácia tiež umožňuje jednoduché škálovanie v akomkoľvek dátovom centre, čím sa LLM dostanú do hlavného prúdu.

Servery NVIDIA H100 NVL vybavené GPU dokážu zvýšiť výkon modelu GPT-175B až 12-násobne oproti systémom NVIDIA DGX A100.

Toto zvýšenie výkonu je dosiahnuté pri zachovaní nízkej latencie v scenároch dátových centier s obmedzeným výkonom, čo demonštruje efektivitu H100 NVL.

Podniková AI Adopcia NVIDIA H100 NVL

Prijatie AI v podnikoch je teraz hlavným prúdom a organizácie potrebujú komplexnú infraštruktúru pripravenú na AI. The NVIDIA H100 NVL GPU pre bežné servery sa dodávajú s päťročným predplatným vrátane podnikovej podpory na softvérový balík NVIDIA AI Enterprise.

Tento balík zjednodušuje prijímanie AI tým, že zaisťuje, aby organizácie mali prístup k rámcom a technológiám AI potrebným na vytváranie procesov AI akcelerovaných H100, ako sú chatboty AI, nástroje odporúčaní, vízia AI a ďalšie.

Bezpečné zrýchlenie pracovného zaťaženia

NVIDIA H100 NVL nie je len o výkone a škálovateľnosti; ide aj o bezpecnost. GPU je určený na bezpečné zrýchlenie pracovného zaťaženia od podnikových až po exascale.

Má štvrtú generáciu jadier Tensor Cores a Transformer Engine s presnosťou FP8, čo umožňuje až 4x rýchlejší tréning pre modely GPT-3 (175B) ako predchádzajúca iterácia.

Kombinácia štvrtej generácie NVLink, ktorá poskytuje 900 GB/s prepojenie GPU-GPU; Sieť NDR Quantum-2 InfiniBand, ktorá urýchľuje komunikáciu každého GPU naprieč uzlami; PCIe Gen5; a softvér NVIDIA Magnum IO umožňuje efektívne škálovanie od malých podnikových systémov až po masívne zjednotené klastre GPU.

Deep Learning v reálnom čase NVIDIA H100 NVL

NVIDIA H100 NVL rozširuje vedúce postavenie spoločnosti NVIDIA na trhu vďaka niekoľkým vylepšeniam, ktoré urýchľujú odvodenie až 30-násobne a poskytujú najnižšiu latenciu.

Tensor Cores štvrtej generácie urýchľujú všetky presnosti, vrátane FP64, TF32, FP32, FP16, INT8 a teraz FP8, čím sa znižuje spotreba pamäte a zvyšuje sa výkon pri zachovaní presnosti LLM.

Vysokovýkonná výpočtová technika Exascale

NVIDIA H100 NVL strojnásobuje počet operácií s pohyblivou rádovou čiarkou za sekundu (FLOPS) jadier Tensor Cores s dvojnásobnou presnosťou, čím poskytuje 60 teraflopov výpočtového systému FP64 pre HPC. Aplikácie HPC s infúziou AI môžu tiež využívať presnosť TF100 H32 na dosiahnutie jedného petaflopu výkonu pre operácie s jednoduchou presnosťou maticového násobenia, pričom nevyžadujú žiadne úpravy kódu.

NVIDIA H100 NVL Accelerated Data Analytics

NVIDIA H100 NVL poskytuje výpočtový výkon – spolu s 3 terabajtmi za sekundu (TB/s) šírky pásma pamäte na GPU a škálovateľnosťou pomocou NVLink a NVSwitch – na riešenie analýzy údajov s vysokým výkonom a škálovateľnosťou na podporu rozsiahlych súborov údajov.

Architektúra dátového centra NVIDIA v kombinácii s NVIDIA Quantum-2 InfiniBand, softvérom Magnum IO, GPU akcelerovaným Spark 3.0 a NVIDIA RAPIDS je jedinečne vybavená na zrýchlenie týchto masívnych pracovných zaťažení s neprekonateľnou úrovňou výkonu a efektivity.

Využitie pripravené na podnikanie

NVIDIA H100 NVL obsahuje technológiu Multi-Instance GPU (MIG) druhej generácie, ktorá maximalizuje využitie GPU bezpečným rozdelením až do siedmich odlišných inštancií.

Tiež s dôvernou výpočtovou podporou, NVIDIA H100 NVL umožňuje bezpečné, komplexné používanie viacerými nájomníkmi, vďaka čomu je ideálny pre prostredia poskytovateľov cloudových služieb (CSP).

Zabudovaný dôverný počítač s NVIDIA H100 NVL

NVIDIA Confidential Computing je vstavaná bezpečnostná funkcia architektúry Hopper, ktorá umožňuje NVIDIA H100 NVL prvý akcelerátor na svete s dôvernými výpočtovými schopnosťami.

Používatelia si môžu zachovať bezpečnosť a integritu svojich údajov a aplikácií a zároveň ťažiť z bezkonkurenčnej akcelerácie GPU H100.

Bezkonkurenčný výkon pre AI a HPC vo veľkom meradle

Architektúra CPU+GPU NVIDIA Grace Hopper, určená pre zrýchlené výpočty v terabajtovom rozsahu a umožňujúca 10x vyšší výkon na veľkých modeloch AI a HPC, bude tiež poháňaná GPU Hopper Tensor Core.

CPU NVIDIA Grace využíva flexibilitu architektúry Arm na vytvorenie architektúry CPU a servera navrhnutej zdola nahor pre zrýchlený výpočet.

GPU Hopper je pripojené k CPU Grace cez ultrarýchle rozhranie NVIDIA od čipu k čipu, ktoré poskytuje šírku pásma 900 GB/s, čo je 7x rýchlejšie ako PCIe Gen5.

Špecifikácia výrobku

Tu je porovnávacia tabuľka H100 NVL v rôznych formách:

Konečná myšlienka

NVIDIA H100 NVL je to, čo mení hru vo svete zrýchlených výpočtov. Jeho výkon, škálovateľnosť a bezpečnosť transformujú AI, HPC a tiež dátovú analýzu. Výpočtová technika s technológiou H100 NVL je budúcnosťou.

H100 NVL ukazuje oddanosť spoločnosti NVIDIA zrýchlenej výpočtovej technike tým, že preplňuje odvodenie veľkého jazykového modelu a tiež poskytuje tajné výpočty. H100 NVL bude formovať budúcnosť výpočtovej techniky.

Youtube Video O NVIDIA H100 NVL

SÚVISIACE PRODUKTY

Výhody cloud computingu pre malé podniky

10 najlepších počítačových hier všetkých čias

FAQ