NVIDIA H100 NVL: Ылдамдатылган эсептөөдөгү оюн өзгөрткүч
Графикалык процессорлордун (GPU) ишке киргизилиши компьютердик индустрияда төңкөрүш жаратты, ал эми дискти NVIDIA жетектейт. Компаниянын акыркы сунушу NVIDIA H100 NVL, тездетилген эсептөөдө мүмкүн болгон чектерди жылдырууга анын берилгендигинин далили.
Мазмуну
- болуп көрбөгөндөй аткаруу жана масштабдуулугу
- NVIDIA H100 NVL Supercharged Large Language Model Inference
- NVIDIA H100 NVL компаниясынын AI кабыл алуусу
- Иш жүктөмдөрүн коопсуз тездетүү
- NVIDIA H100 NVL боюнча реалдуу убакытта терең үйрөнүү
- Exascale Жогорку өндүрүмдүү эсептөө
- NVIDIA H100 NVL тездетилген маалыматтар аналитикасы
- Enterprise-Ready Utilization
- NVIDIA H100 NVL менен орнотулган жашыруун эсептөө
- Чоң масштабдагы AI жана HPC үчүн теңдешсиз аткаруу
- Продукт мүнөздөмөлөрү
- Final Thought
- Youtube Video NVIDIA H100 NVL жөнүндө
- FAQ
болуп көрбөгөндөй аткаруу жана масштабдуулугу
The NVIDIA H100 NVL болуп көрбөгөндөй аткарууну, масштабдуулукту жана коопсуздукту сунуш кылган заманбап технологиянын керемети.
NVIDIA NVLink Switch системасы ага каалаган жумуш жүгүн оңой башкарууга мүмкүндүк берет. Бул система 256га чейин H100 GPU'ну бириктирүүгө мүмкүндүк берет, натыйжада тездетилген эсептөө мүмкүнчүлүктөрү олуттуу жогорулайт.
Мындан тышкары, NVIDIA NVL атайын Transformer Engine бар. Ошондой эле бул кыймылдаткыч триллион параметр тил моделдерин иштетүүгө арналган, бул көпчүлүк GPU үчүн кыйынга турган милдет.
NVIDIA H100 NVLдин айкалышкан технологиялык жетишкендиктери чоң тил моделдерин (LLMs) мурунку муунга караганда укмуштуу 30X ылдамдатышы мүмкүн, ошондой эле аны сүйлөшүү AI тармагында лидерге айландырышы мүмкүн.
NVIDIA H100 NVL Supercharged Large Language Model Inference
The NVIDIA H100 NVL жөн гана чийки бийлик жөнүндө эмес; ал ошондой эле чеберчилик жөнүндө. NVLink көпүрөсү менен NVIDIA H100 өзүнүн Transformer Engine, NVLink жана 175 ГБ HBM188 эс тутумун колдонуу менен 3 миллиардга чейинки параметрлери бар LLMлер үчүн оптималдуу иштөөнү камсыз кылат.
Ошондой эле бул комбинация ар кандай маалымат борборлорунда жөнөкөй масштабдоого мүмкүндүк берип, LLMлерди негизги агымга киргизет.
NVIDIA H100 NVL GPU менен жабдылган серверлер GPT-175B моделинин иштешин NVIDIA DGX A12 тутумдарына караганда 100 эсеге чейин жогорулата алат.
Бул өндүрүмдүүлүктүн жогорулашы H100 NVL эффективдүүлүгүн көрсөтүп, кубаттуулугу чектелген маалымат борборунун сценарийлеринде аз күтүү убактысын сактоо менен ишке ашат.
NVIDIA H100 NVL компаниясынын AI кабыл алуусу
Ишканаларда AI кабыл алуу азыр негизги агым болуп саналат жана уюмдар акырына чейин, AI даяр инфраструктурага муктаж. The NVIDIA H100 NVL Негизги серверлер үчүн GPU'лар NVIDIA AI Enterprise программалык комплексине беш жылдык жазылуу, анын ичинде ишкананын колдоосу менен келет.
Бул пакет AI чатботтору, сунуш кыймылдаткычтары, көрүү AI жана башкалар сыяктуу H100 тездетилген AI процесстерин куруу үчүн талап кылынган AI алкактарына жана технологияларына жетүү мүмкүнчүлүгүн камсыз кылуу менен AI кабыл алууну жеңилдетет.
Иш жүктөмдөрүн коопсуз тездетүү
The NVIDIA H100 NVL аткаруу жана масштабдуулугу жөнүндө гана эмес; бул коопсуздук жөнүндө да. GPU корпоративдикден эксашкалга чейинки жумуш жүгүн коопсуз тездетүүгө арналган.
Анын төртүнчү муундагы тензор өзөктөрү жана FP8 тактыгы менен трансформатор кыймылдаткычы бар, бул GPT-4 (3B) моделдерин мурунку итерацияга караганда 175 эсеге чейин тезирээк окутууга мүмкүндүк берет.
Төртүнчү муундагы NVLink айкалышы, ал 900 ГБ/с GPU менен GPU ортосундагы байланышты камсыз кылат; NDR Quantum-2 InfiniBand түйүндөрү аркылуу ар бир GPU менен байланышты тездетет; PCIe Gen5; жана NVIDIA Magnum IO программалык камсыздоосу чакан ишкана тутумдарынан массалык, бирдиктүү GPU кластерлерине чейин эффективдүү масштабдоого мүмкүндүк берет.
NVIDIA H100 NVL боюнча реалдуу убакытта терең үйрөнүү
The NVIDIA H100 NVL NVIDIAнын рыноктогу лидерлигин 30X чейин тездетүүчү жана эң төмөнкү кечигүү мөөнөтүн камсыз кылган бир нече жетишкендиктер менен кеңейтет.
Төртүнчү муундагы Tensor Cores бардык тактыктарды, анын ичинде FP64, TF32, FP32, FP16, INT8 жана азыр FP8ди тездетип, эстутумдун колдонулушун азайтып, LLM тактыгын сактап, аткарууну жогорулатат.
Exascale Жогорку өндүрүмдүү эсептөө
The NVIDIA H100 NVL Эки тактыктагы Тензор өзөктөрүнүн секундасына калкыма чекиттик операцияларын (FLOPS) үч эсеге көбөйтүп, HPC үчүн 60 терафлоп FP64 эсептөөсүн жеткирет. AI менен туташтырылган HPC тиркемелери кодду өзгөртүүнү талап кылбастан, бир тактык матрицаны көбөйтүү операциялары үчүн бир петафлоп аткарууга жетүү үчүн H100 TF32 тактыгын колдонушу мүмкүн.
NVIDIA H100 NVL тездетилген маалыматтар аналитикасы
The NVIDIA H100 NVL Эсептөө күчүн - GPU үчүн секундасына 3 терабайт (ТБ/сек) эс өткөрүү жөндөмдүүлүгүн жана NVLink жана NVSwitch менен масштабдуулугун - массалык маалымат топтомдорун колдоо үчүн жогорку өндүрүмдүүлүк жана масштабдагы маалымат аналитикасын чечүү үчүн жеткирет.
NVIDIA маалымат борборунун архитектурасы NVIDIA Quantum-2 InfiniBand, Magnum IO программалык камсыздоосу, GPU-тездетилген Spark 3.0 жана NVIDIA RAPIDS менен айкалышканда, бул чоң жүктөмдөрдү аткаруунун жана натыйжалуулуктун теңдешсиз деңгээли менен тездетүү үчүн уникалдуу жабдылган.
Enterprise-Ready Utilization
NVIDIA H100 NVL өзүнө экинчи муундагы Multi-Instance GPU (MIG) технологиясын камтыйт, ал GPU'ну жети башка инстанцияга коопсуз бөлүү менен максималдуу пайдаланууну камсыз кылат.
Ошондой эле жашыруун эсептөө колдоосу менен NVIDIA H100 NVL коопсуз, аягына чейин, көп ижарачы колдонууга мүмкүндүк берет, бул булут кызмат көрсөтүүчүсү (CSP) чөйрөлөрү үчүн идеалдуу кылат.
NVIDIA H100 NVL менен орнотулган жашыруун эсептөө
NVIDIA Confidential Computing - бул Хоппер архитектурасынын орнотулган коопсуздук өзгөчөлүгү NVIDIA H100 NVL жашыруун эсептөө мүмкүнчүлүктөрү менен дүйнөдөгү биринчи акселератор.
Колдонуучулар H100 GPUлардын теңдешсиз ылдамдануусунан пайдаланып, алардын маалыматтарынын жана колдонмолорунун коопсуздугун жана бүтүндүгүн сактай алышат.
Чоң масштабдагы AI жана HPC үчүн теңдешсиз аткаруу
NVIDIA Grace Hopper CPU+GPU архитектурасы, терабайт масштабдуу ылдамдатылган эсептөөлөр үчүн атайын курулган жана чоң моделдеги AI жана HPCде 10 эсе жакшыраак иштөөгө мүмкүндүк берет, ошондой эле Hopper Tensor Core GPU менен иштейт.
NVIDIA Grace CPU тездетилген эсептөө үчүн ылдыйдан өйдө иштелип чыккан CPU жана сервер архитектурасын өндүрүү үчүн Arm архитектурасынын ийкемдүүлүгүн колдонот.
Hopper GPU Grace CPU менен NVIDIAнын ультра тез чиптен чипке интерфейси аркылуу туташты, ал 900 ГБ/сек өткөрүү жөндөмдүүлүгүн камсыз кылат, бул PCIe Gen7ке караганда 5X тезирээк.
Продукт мүнөздөмөлөрү
Бул жерде салыштыруу таблицасы болуп саналат H100 NVL ар кандай форма факторлорунда:
| Анкета жагдай | FP64 | FP64 Tensor Core | FP32 | TF32 Tensor Core | BFLOAT16 Tensor Core | GPU эс тутуму | GPU эс тутумунун өткөрүү жөндөмдүүлүгү |
| H100 SXM | 34 тераФЛОПС | 67 тераФЛОПС | 67 тераФЛОПС | 989 тераФЛОПС | 1,979 тераФЛОПС | 80GB | 3.35 ТБ/сек |
| H100 PCIe | 26 тераФЛОПС | 51 тераФЛОПС | 51 тераФЛОПС | 756 тераФЛОПС | 1,513 тераФЛОПС | 80GB | 2 ТБ/сек |
| H100 NVL | 68 тераФЛОПС | 134 тераФЛОПС | 134 тераФЛОПС | 1,979 тераФЛОПС | 3,958 тераФЛОПС | 188GB | 7.8 ТБ/сек |
Final Thought
The NVIDIA H100 NVL тездетилген эсептөө дүйнөсүндөгү оюн өзгөртүүчү болуп саналат. Анын иштеши, масштабдуулугу жана коопсуздугу AI, HPC, ошондой эле маалымат аналитикасын өзгөртөт. H100 NVL менен иштөөчү эсептөө - бул келечек.
H100 NVL NVIDIA'нын чоң тил моделинин жыйынтыгын ашыкча заряддоо жана ошондой эле жашыруун эсептөөлөрдү камсыз кылуу аркылуу тездетилген эсептөөлөргө берилгендигин көрсөтөт. H100 NVL компьютердин келечегин түзөт.
Youtube Video NVIDIA H100 NVL жөнүндө
Сен да жагышы мүмкүн
Чакан бизнес үчүн булуттагы эсептөөлөрдүн артыкчылыктары
Бардык убактагы 10 мыкты компьютер оюндары
FAQ
Tensor Core GPU H100 NVL теңдешсиз аткарууну, масштабдуулукту жана коопсуздукту камсыз кылат. NVIDIA NVLink Switch системасы 256га чейин H100 GPU туташтырат, ошондой эле Transformer Engine триллион параметрдик тил моделдерин иштетет жана жашыруун эсептөөлөр орнотулган. Ал ишканадан масштабдуу жумуш жүктөмүнүн тездетилишин камсыздайт.
NVLink көпүрөсү менен H100 NVL өзүнүн Transformer Engine, NVLink жана 175 ГБ HBM188 эс тутумун колдонуу менен LLMлерди 3 миллиард параметрге чейин оптималдаштырат. Ошондой эле бул айкалышы маалымат борборунун масштабдуулугун иштетүү менен LLMлерди негизги агымга айлантат.
Жогорку натыйжалуу NVIDIA AI Enterprise программасы AI кабыл алууну жөнөкөйлөтөт. Негизги серверлер үчүн H100 NVL GPU беш жылдык жазылуу жана ошондой эле ишкананын колдоосу менен келет. Бул пакет уюмдарга H100 тездетилген AI процессинин негизин жана куралдарын берет.
H100 NVL экинчи муундагы Multi-Instance GPU (MIG) технологиясы GPU колдонууну максималдаштыруу үчүн ар бир GPUны жети инстанцияга коопсуз бөлөт. Бул ошондой эле, булут кызмат көрсөтүүчү (CSP) жагдайлар үчүн идеалдуу кылып, акырына чейин, көп ижарачы колдонууну камсыз кылат.
NVIDIA Grace Hopper CPU+GPU архитектурасы чоң моделдеги AI жана HPC 10Xти тездетет. Arm архитектурасы NVIDIA Grace CPU'суна тездетилген эсептөө үчүн оптималдаштырылган CPU жана сервер архитектурасын курууга мүмкүндүк берет. NVIDIA'нын ультра тез чиптен чипке туташуу Grace CPU жана Hopper GPU'ну туташтырат, бул PCIe Gen900ке караганда 7X ылдамыраак, 5 ГБ/сек өткөрүү жөндөмдүүлүгүн берет.
