NVIDIA HGX H200, Jagoannya Komputasi AI dengan Arsitektur NVIDIA Hopper

Teknogav.com – NVIDIA HGX H200 merupakan platform komputasi AI yang telah ditingkatkan dan dibangun pada arsitektur NVIDIA Hopper. Platform ini dilengkapi GPU NVIDIA H200 Tensor Core dengan memori canggih. Sejumlah besar data untuk AI generatif dan beban kerja komputasi kinerja tinggi dapat ditangani platform ini berkat dukungan komponen-komponen tersebut.

HBM3e adalah memori yang lebih cepat dan besar untuk memicu percepatan AI generatif dan model bahasa besar. Kemampuan memori tersebut juga meningkatkan komputasi ilimiah untuk beban kerja HPC. NVIDIA H200 merupakan GPU pertama yang sudah dilengkapi dengan HBM3e yang menghadirkan memori 141 GB. Kehadiran HBM3e pada NVIDIA H200 memberikan kecepatan memori 4,8 TBps dengan kapasitas hampir dua kali lipat. Jika dibandinkgn NVIDIA A100 yang merupakan generasi sebelumnya, maka bandwidth NVIDIA H200 2,4 kali lebih besar.

Para produsen server dan penyedia layanan cloud diperkirakan akan menghadirkan sistem yang ditenagai H200 pada kuartal kedua tahun 2024.

Baca juga: VMware Gandeng NVIDIA Kembangkan Next-Gen Hybrid Cloud dan AI

“Sejumlah besar data harus diproses secara efisien dengan kecepatan tinggi menggunakan memori GPU yang besar dan cepat. Hal ini dibutuhkan untuk menciptakan kecerdasan dengan AI generatif dan aplikasi HPC. NVIDIA H200 memungkinkan platform superkomputer AI end-to-end terdepan di industri menjadi lebih cepat memecahkan tantangan terpenting di dunia,” ucap Ian Buck, wakil presiden hyperscale dan HPC di NVIDIA.

Arsitektur NVIDIA Hopper

Jika dibandingkan arsitektur sebelumnya, maka arsitektur NVDIAI Hopper memiliki peningkatan kinerja yang signifikan. Penyempurnaan perangkat lunak yang brekelanjutan dengan H100 terus meningkatkan standar yang ada. Penyempurnaan ini termasuk rilis terbaru perpustakaan sumber terbuka canggih seperti NVIDIA TensorRT LLM.

Peningkatan kinerja lebih canggih dihadirkan oleh H200. Jika dibandingkan dengan H100, maka H200 memiliki kecepatan inferensi dua kali lipat pada Llama 2, LLM dengan 70 miliar parameter. Harapannya, peningkatan kinerja tambahan dengan H200 dapat terjadi pada pembaruan perangkat lunak di masa mendatang.

Form Factor NVIDIA H200

NVIDIA H200 akan tersedia dalam papan server NVIDIA HGX H200 dengan konfigurasi empat dan delapan arah, yang kompatibel dengan perangkat keras dan perangkat lunak sistem HGX H100. Ini juga tersedia di Superchip NVIDIA GH200 Grace Hopper™ dengan HBM3e, yang diumumkan Agustus 2023.
Opsi tersebut memungkinkan H200 diterapkan di setiap data center, termasuk on-premise, cloud, hybrid-cloud dan edge. Ekosistem global produsen server mitra NVIDIA dapat memperbarui sistem mereka yang ada dengan H200. Para produsen tersebut termasuk ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrays, Lenovo, OCT, Supermicro, Wistron dan Wiwynn.
Instance berbasis H200 akan dihadirkan Amazon Web Services, Google Cloud, Microsoft Azure dan Cloud Infrastructure mulai tahun depan. Mereka akan menjadi penyedia layanan cloud pertama yang menerapkan instance berbasis H200, selain CoreWeave, Lambda dan Vultr.

HGX H200 didukung interkoneksi berkecepatan tinggi NVIDIA NVLink dan NVSwitch. Dukungan tersebut menawarkan kinerja tertinggi pada berbagai beban kerja aplikasi. Beban kerja tersebut termasuk pelatihan LLM dan inferensi untu model terbesar yang melampaui 175 miliat parameter. Lebih dari 32 petaflops komputasi pembelajaran mendalam FP8 disediakan HGX H200 delapan arah. Kemampuannya juga mencakup 1,1 TB memori bandwidth tinggi agregat untuk kinerja tertinggi dalam aplikasi AI generatif dan HPC.

Ketika dipasang pada CPU NVIDIA Grace dengan interkoneksi NVLink-C2C yang sangat cepat, H200 menciptakan GH200 Grace Hopper Superchip dengan HBM3e. HBM3e adalah modul terintegrasi yang dirancang untuk melayani aplikasi HPC dan AI berskala besar.

Perangkat Lunak NVIDIA Full-Stack untuk Mempercepat AI

Platform akselerasi komputasi NVIDIA didukung perangkat lunak canggih yang memungkinkan pengembang dan perusahaan membangun dan pempercepat aplikasi siap produksi. Aplikasi tersebut mencakup kecerdasan buatan atau artificial intelligence (AI) sampai HPC. Serangkaian perangkat lunak NVIDIA AI Enterprise ini ditujukan untuk beban kerja seperti ucapan, sistem pemberi rekomendasi dan inferensi skala besar.

Produsen sistem global dan penyedia layanan cloud akan menghadirkan solusi berbasis NVIDIA H200 mulai kuartal kedua tahun 2024.