NVIDIA H100 NVL: mängu muutja kiirendatud andmetöötluses
Graafikaprotsessorite (GPU) kasutuselevõtt muutis arvutitööstuses revolutsiooni ning NVIDIA juhtis draivi. Ettevõtte uusim pakkumine, NVIDIA H100 NVL, on tunnistus selle pühendumisest kiirendatud andmetöötluse võimalike piiride nihutamisele.
Sisukord
- Enneolematu jõudlus ja mastaapsus
- NVIDIA H100 NVL ülelaadimisega suure keele mudeli järeldus
- Ettevõtte AI kasutuselevõtt NVIDIA H100 NVL
- Töökoormuse turvaline kiirendamine
- NVIDIA H100 NVL reaalajas süvaõppe järeldus
- Exascale suure jõudlusega andmetöötlus
- NVIDIA H100 NVL kiirendatud andmeanalüüs
- Ettevõtlusvalmis kasutamine
- Sisseehitatud konfidentsiaalne andmetöötlus koos NVIDIA H100 NVL-ga
- Võrratu jõudlus suuremahulise AI ja HPC jaoks
- Toote spetsifikatsioonid
- Lõppude arvamus
- Youtube'i video NVIDIA H100 NVL kohta
- FAQ
Enneolematu jõudlus ja mastaapsus
. NVIDIA H100 NVL on kaasaegse tehnoloogia ime, mis pakub enneolematut jõudlust, mastaapsust ja turvalisust.
NVIDIA NVLink Switch System võimaldab hõlpsalt hallata mis tahes töökoormust. See süsteem võimaldab omavahel ühendada kuni 256 H100 GPU-d, mille tulemuseks on kiirendatud andmetöötlusvõime märkimisväärselt suurenenud.
Lisaks on NVIDIA NVL-l spetsiaalne trafomootor. See mootor on ette nähtud ka triljoni parameetriga keelemudelitega toimetulemiseks, mis on enamiku GPU-de jaoks keeruline.
NVIDIA H100 NVL kombineeritud tehnoloogilised läbimurded võivad kiirendada suurte keelemudelite (LLM) tootmist hämmastavalt 30 korda võrreldes eelmise põlvkonnaga, muutes selle ühtlasi liidriks vestluse AI alal.
NVIDIA H100 NVL ülelaadimisega suure keele mudeli järeldus
. NVIDIA H100 NVL ei ole ainult toores jõud; see puudutab ka peenust. NVIDIA H100 koos NVLinki sillaga pakub LLM-idele optimaalset jõudlust kuni 175 miljardi parameetriga, kasutades selle transformaatorimootorit, NVLinki ja 188 GB HBM3 mälu.
Samuti võimaldab see kombinatsioon lihtsat skaleerimist kõigis andmekeskustes, viies LLM-id peavoolu.
NVIDIA H100 NVL GPU-ga varustatud serverid võivad suurendada GPT-175B mudeli jõudlust kuni 12 korda võrreldes NVIDIA DGX A100 süsteemidega.
See jõudluse suurendamine saavutatakse, säilitades samal ajal väikese latentsusaja võimsuspiiranguga andmekeskuse stsenaariumides, mis näitab H100 NVL-i tõhusust.
Ettevõtte AI kasutuselevõtt NVIDIA H100 NVL
Tehisintellekti kasutuselevõtt ettevõtetes on nüüdseks levinud ja organisatsioonid vajavad täielikku tehisintellekti jaoks valmis infrastruktuuri. The NVIDIA H100 NVL Tavaserverite GPU-dega kaasneb NVIDIA AI Enterprise'i tarkvarapaketi viieaastane tellimus, sealhulgas ettevõtte tugi.
See pakett lihtsustab tehisintellekti kasutuselevõttu, tagades organisatsioonidele juurdepääsu tehisintellekti raamistikele ja tehnoloogiatele, mis on vajalikud H100-kiirendatud tehisintellekti protsesside (nt AI vestlusbotid, soovitusmootorid, visiooni AI ja muu) loomiseks.
Töökoormuse turvaline kiirendamine
. NVIDIA H100 NVL ei tähenda ainult jõudlust ja mastaapsust; see puudutab ka turvalisust. GPU on ette nähtud töökoormuse ohutuks kiirendamiseks alates ettevõttest kuni eksatasandini.
Sellel on neljanda põlvkonna tensorituumad ja FP8 täpsusega transformermootor, mis võimaldab GPT-4 (3B) mudelite jaoks kuni 175 korda kiiremat treeningut kui eelmine iteratsioon.
Neljanda põlvkonna NVLinki kombinatsioon, mis tagab 900 GB/s GPU-GPU-ühenduse; NDR Quantum-2 InfiniBand võrguühendus, mis kiirendab sidet iga GPU poolt sõlmede vahel; PCIe Gen5; ja NVIDIA Magnum IO tarkvara võimaldab tõhusat skaleerimist väikeettevõtete süsteemidest massiivsete ühtsete GPU-klastriteni.
NVIDIA H100 NVL reaalajas süvaõppe järeldus
. NVIDIA H100 NVL laiendab NVIDIA turuliidrit järelduste tegemisel mitme edusammuga, mis kiirendavad järelduste tegemist kuni 30 korda ja tagavad madalaima latentsusaja.
Neljanda põlvkonna tensorituumad kiirendavad kõiki täpsusi, sealhulgas FP64, TF32, FP32, FP16, INT8 ja nüüd FP8, vähendades mälukasutust ja suurendades jõudlust, säilitades samal ajal LLM-i täpsuse.
Exascale suure jõudlusega andmetöötlus
. NVIDIA H100 NVL kolmekordistab kahekordse täpsusega tensortuumade ujukomaoperatsioonid sekundis (FLOPS), pakkudes HPC jaoks 60 teraflopsi FP64 andmetöötlust. Tehisintellektiga infundeeritud HPC-rakendused võivad kasutada ka H100 TF32 täpsust, et saavutada ühe petaflopi jõudlus ühe täpsusega maatrikskorrutamise operatsioonide jaoks, ilma et oleks vaja koodi muuta.
NVIDIA H100 NVL kiirendatud andmeanalüüs
. NVIDIA H100 NVL pakub arvutusvõimsust – koos 3 terabaiti sekundis (TB/s) mälu ribalaiusega GPU kohta ning skaleeritavusega NVLinki ja NVSwitchiga –, et tulla toime andmeanalüütikaga suure jõudlusega ja mastaapselt, et toetada tohutuid andmekogumeid.
NVIDIA andmekeskuse arhitektuur koos NVIDIA Quantum-2 InfiniBandi, Magnum IO tarkvara, GPU-kiirendusega Spark 3.0 ja NVIDIA RAPIDSiga on ainulaadselt varustatud, et kiirendada neid tohutuid töökoormusi ületamatu jõudluse ja tõhususega.
Ettevõtlusvalmis kasutamine
NVIDIA H100 NVL sisaldab teise põlvkonna Multi-Instance GPU (MIG) tehnoloogiat, mis maksimeerib GPU kasutust, jagades selle turvaliselt kuni seitsmeks erinevaks eksemplariks.
Samuti konfidentsiaalse andmetöötluse toega NVIDIA H100 NVL võimaldab turvalist, otsast lõpuni, mitme rentniku kasutamist, muutes selle ideaalseks pilveteenuse pakkuja (CSP) keskkondade jaoks.
Sisseehitatud konfidentsiaalne andmetöötlus koos NVIDIA H100 NVL-ga
NVIDIA Confidential Computing on Hopperi arhitektuuri sisseehitatud turvafunktsioon, mis muudab NVIDIA H100 NVL maailma esimene konfidentsiaalse andmetöötlusvõimega kiirendi.
Kasutajad võivad säilitada oma andmete ja rakenduste turvalisuse ja terviklikkuse, saades samal ajal kasu H100 GPU-de ületamatust kiirendusest.
Võrratu jõudlus suuremahulise AI ja HPC jaoks
NVIDIA Grace Hopper CPU+GPU arhitektuur, mis on loodud terabaidise mastaabiga kiirendatud andmetöötluse jaoks ja võimaldab 10 korda suuremat jõudlust suurte mudelite AI ja HPC puhul, saab samuti toite Hopper Tensor Core GPU-st.
NVIDIA Grace CPU kasutab Arm-arhitektuuri paindlikkust, et luua protsessori- ja serveriarhitektuur, mis on loodud kiirendatud arvutuste jaoks alt üles.
Hopperi GPU on Grace CPU-ga ühendatud NVIDIA ülikiire kiipidevahelise liidese kaudu, mis tagab 900 GB/s ribalaiuse, mis on 7X kiirem kui PCIe Gen5.
Toote spetsifikatsioonid
Siin on võrdlustabel H100 NVL erinevates vormitegurites:
| Form Factor | FP64 | FP64 Tensor Core | FP32 | TF32 tensori tuum | BFLOAT16 tensortuum | GPU mälu | GPU mälu ribalaius |
| H100 SXM | 34 teraFLOPSi | 67 teraFLOPSi | 67 teraFLOPSi | 989 teraFLOPSi | 1,979 teraFLOPSi | 80GB | 3.35 TB/s |
| H100 PCIe | 26 teraFLOPSi | 51 teraFLOPSi | 51 teraFLOPSi | 756 teraFLOPSi | 1,513 teraFLOPSi | 80GB | 2 TB/s |
| H100 NVL | 68 teraFLOPSi | 134 teraFLOPSi | 134 teraFLOPSi | 1,979 teraFLOPSi | 3,958 teraFLOPSi | 188GB | 7.8 TB/s |
Lõppude arvamus
. NVIDIA H100 NVL on kiirendatud andmetöötluse maailmas mängu muutja. Selle jõudlus, mastaapsus ja turvalisus muudavad tehisintellekti, HPC-d ja ka andmeanalüütikat. H100 NVL-toega andmetöötlus on tulevik.
H100 NVL näitab NVIDIA pühendumust kiirendatud andmetöötlusele, laadides üle suure keelemudeli järeldusi ja pakkudes ka salajast andmetöötlust. H100 NVL kujundab andmetöötluse tuleviku.
Youtube'i video NVIDIA H100 NVL kohta
Võite ka nagu
Pilvandmetöötluse eelised väikeettevõtetele
Kõigi aegade 10 parimat arvutimängu
FAQ
Tensor Core GPU H100 NVL pakub võrreldamatut jõudlust, mastaapsust ja turvalisust. NVIDIA NVLink Switch System ühendab kuni 256 H100 GPU-d, ka Transformer Engine käsitleb triljoni parameetriga keelemudeleid ja sisse on ehitatud salajane andmetöötlus. See tagab töökoormuse kiirenduse ettevõttest eksamastaabiliseks.
NVLinki sillaga H100 NVL optimeerib LLM-e kuni 175 miljardi parameetrini, kasutades selle Transformer Engine'i, NVLinki ja 188 GB HBM3 mälu. Ka see kombinatsioon muudab LLM-id peavooluks, võimaldades kogu andmekeskuse skaleeritavust.
Suure jõudlusega NVIDIA AI Enterprise'i tarkvara lihtsustab AI kasutuselevõttu. Tavaserveritele mõeldud H100 NVL GPU-d on varustatud viieaastase tellimuse ja ka ettevõtte toega. See pakett pakub organisatsioonidele H100-kiirendatud tehisintellekti protsesside raamistikke ja tööriistu.
H100 NVL-i teise põlvkonna mitme eksemplari GPU (MIG) tehnoloogia jagab iga GPU turvaliselt seitsmeks eksemplariks, et maksimeerida GPU kasutust. Samuti tagab see täieliku mitme rentniku kasutamise, muutes selle suurepäraseks pilveteenuse pakkuja (CSP) olukordades.
NVIDIA Grace Hopper CPU+GPU arhitektuur kiirendab suure mudeli AI ja HPC 10X. Arm-arhitektuur võimaldab NVIDIA Grace CPU-l konstrueerida kiirendatud arvutuste jaoks optimeeritud protsessori ja serveri arhitektuuri. NVIDIA ülikiire kiipidevaheline ühendus ühendab Grace CPU ja Hopper GPU, andes 900 GB/s ribalaiuse, mis on 7 korda kiirem kui PCIe Gen5.
