Nvidia Memperkenalkan Arsitektur GPU untuk AI Terbaru Bernama "Blackwell"

Pada hari ini 19 Maret 2024 di San Jose, California, Nvidia secara resmi memperkenalkan arsitektur GPU untuk AI terbaru mereka bernama "Blackwell" yang terinspirasi dari nama seorang ahli matematika Dr. David Harold Blackwell yang ahli dalam teori permainan dan statistik. 

GPU ini mampu menjalankan AI generatif secara real-time pada triliunan parameter Large Language Models dengan konsumsi energi dan biaya hingga 25 kali lebih hemat dibandingkan GPU arsitektur Hopper yang diluncurkan dua tahun lalu. Blackwell adalah GPU pertama Nvidia yang menggunakan desain Multi-Chip Module (MCM) yang menggabungkan dua die GPU dalam satu paket yang sama. GPU Blackwell menghadirkan enam teknologi transformatif untuk akselerasi komputasi yang membantu dalam pemrosesan data, teknik simulasi, otomatisasi desain elektronik, desain obat dengan bantuan komputer, komputasi kuantum, dan AI generatif. 

Gambar dari: Nvidia

Jansen Huang, pendiri sekaligus CEO dari NVidia mengatakan "selama tiga dekade kami telah mengupayakan ekselerasi komputasi, dengan tujuan memungkinkan terobosan transformatif seperti deep learning dan Artificial Intelligence. Blackwell adalah mesin yang menggerakkan revolusi industri baru ini. Bekerja sama dengan perusahaan paling dinamis di dunia, kami akan mewujudkan potensi kecerdasan buatan untuk setiap industri." 

Gambar dari: Nvidia (sebelah kiri adalah chip GPU Blackwell dan sebelah kanan adalah chip GPU Hopper)

Arsitektur Blackwell B200 mengambil alih dari arsitektur Hopper H100/H200, dan akan ada superchip Grace Blackwell DGX GB200 yang akan menggantikan Grace Hopper DGX GH200, yang seperti bisa ditebak dari namanya, akan mempertahankan arsitektur CPU Grace tetapi memasangkannya dengan GPU Blackwell yang diperbarui. 

Gambar dari: Nvidia

Nvidia mengklaim GPU B200 yang baru akan menawarkan tenaga FP4 hingga 20 Petaflops dari 208 miliar transistor sedangkan pada GPU H100 memiliki 4 Petaflops dari 80 miliar transistor. Selain itu, dikatakan bahwa GB200 yang menggabungkan dua GPU tersebut dengan satu CPU Grace dapat menawarkan kinerja 30 kali lipat untuk beban kerja LLM sekaligus jauh lebih efisien dari GH200. Melatih model parameter 1,8 triliun sebelumnya membutuhkan 8.000 GPU Hopper dengan daya 15 Megawatt klaim dari Nvidia. CEO Nvidia mengatakan 2.000 GPU Blackwell dapat melakukannya dengan hanya mengonsumsi 4 Megawatt.

GPU B200 menggandakan jumlah transistor lebih dari dua kali lipat dibandingkan H100 yang ada. B200 memiliki 208 miliar transistor (dibandingkan 80 miliar pada H100/H200). B200 juga memberikan kinerja AI sebesar 20 Petaflops dari GPU H100 memiliki maksimum 4 Petaflops komputasi AI. Dan yang tak kalah pentingnya, GPU ini akan membawakan memori HBM3e 192 GB yang menawarkan bandwidth hingga 8 TB/dtk.

Gambar dari: Nvidia

Nvidia B200 akan memanfaatkan dua chip berukuran reticle penuh, di mana setiap chipnya dilengkapi dengan empat tumpukan HMB3e yang masing-masing berkapasitas 24 GB. Ini merupakan perbedaan signifikan dari H100 yang memiliki enam tumpukan HBM3 dengan kapasitas masing-masing 16 GB. Dengan mengurangi jumlah antarmuka HBM menjadi empat per chip dan menggabungkan dua chip, Nvidia dapat mengalokasikan area die yang lebih kecil untuk antarmuka memori.

B200 mencapai puncak komputasi teoritis sebesar 20 Petaflops melalui format angka FP4 yang baru, yang memiliki throughput dua kali lebih besar dibandingkan dengan format FP8 pada Hopper H100. Jika dibandingkan dalam format FP8, B200 menawarkan komputasi FP8 teoritis yang 2,5 kali lebih besar dibandingkan H100, sebagian besar disebabkan oleh penggunaan dua chip.

Meskipun secara teori B200 menghasilkan komputasi 1,25 kali lebih banyak per chip dengan sebagian besar format angka yang didukung oleh H100 dan B200, kepadatan komputasi mungkin tidak meningkat secara signifikan pada tingkat chip. Hal ini disebabkan oleh penghapusan dua antarmuka HBM3 dan pembuatan chip yang sedikit lebih besar.

Gambar dari: Nvidia (GB200 NVL72)

Setiap tray di rak berisi dua chip GB200 atau dua switch NVLink, dengan 18 chip pertama dan sembilan switch NVLink per rak. Secara total, Nvidia mengatakan salah satu rak ini dapat mendukung model parameter 27 triliun. GPT-4 dikabarkan memiliki model parameter 1,7 triliun. Nvidia mengatakan Amazon, Google, Microsoft, dan Oracle sudah berencana untuk menawarkan rak NVL72 dalam penawaran layanan cloud mereka, meskipun belum jelas berapa banyak yang mereka beli.

Dan tentu saja, Nvidia juga menawarkan solusi lainnya kepada perusahaan seperti DGX Superpod dengan DGX GB200, yang menggabungkan delapan sistem dalam satu dengan total 288 CPU, 576 GPU, memori 240 TB, dan 11,5 Exaflops komputasi FP4.

Gambar dari: Nvidia

Nvidia mengatakan sistemnya dapat menskalakan hingga puluhan ribu superchip GB200, terhubung bersama dengan jaringan 800Gbps dengan Quantum-X800 InfiniBand (hingga 144 koneksi) atau Ethernet Spectrum-X800 (hingga 64 koneksi). 

GPU NVIDIA Blackwell B200 akan menjadi chip monster. Ini menggabungkan total 160 SM setara 20.480 core. GPU akan menampilkan teknologi interkoneksi NVLink terbaru, mendukung arsitektur 8 GPU yang sama dan switch jaringan 400 GbE. Ini juga akan sangat haus daya dengan TGP 700W meskipun itu juga sama dengan chip H100 dan H200. Berikut spesifikasi dari GPU Blackwell B200:

• Node TSMC 4NP
• Menggunakan Multi-Chip Module (MCM) 
• 2 GPU-208 miliar transistor
• 160 SM (20.480 core)
• Memori 192 GB HBM3e 
• Bandwith memori 8 TB/dtk
• 8192-bit memory bus 
• Mendukung PCIe 6.0
• 700W TGP

Penulis memperkirakan Nvidia juga akan membawa arsitektur Blackwell ke GPU kelas konsumen atau gaming, tetapi GPU tersebut mungkin baru akan diluncurkan pada akhir tahun 2024 dan akan hadir pada tahun 2025, dan akan sangat berbeda dari chip data center enterpise.