Nvidia B200 akan memanfaatkan dua chip berukuran reticle penuh, di mana setiap chipnya dilengkapi dengan empat tumpukan HMB3e yang masing-masing berkapasitas 24 GB. Ini merupakan perbedaan signifikan dari H100 yang memiliki enam tumpukan HBM3 dengan kapasitas masing-masing 16 GB. Dengan mengurangi jumlah antarmuka HBM menjadi empat per chip dan menggabungkan dua chip, Nvidia dapat mengalokasikan area die yang lebih kecil untuk antarmuka memori.
B200 mencapai puncak komputasi teoritis sebesar 20 Petaflops melalui format angka FP4 yang baru, yang memiliki throughput dua kali lebih besar dibandingkan dengan format FP8 pada Hopper H100. Jika dibandingkan dalam format FP8, B200 menawarkan komputasi FP8 teoritis yang 2,5 kali lebih besar dibandingkan H100, sebagian besar disebabkan oleh penggunaan dua chip.
Meskipun secara teori B200 menghasilkan komputasi 1,25 kali lebih banyak per chip dengan sebagian besar format angka yang didukung oleh H100 dan B200, kepadatan komputasi mungkin tidak meningkat secara signifikan pada tingkat chip. Hal ini disebabkan oleh penghapusan dua antarmuka HBM3 dan pembuatan chip yang sedikit lebih besar.
Setiap tray di rak berisi dua chip GB200 atau dua switch NVLink, dengan 18 chip pertama dan sembilan switch NVLink per rak. Secara total, Nvidia mengatakan salah satu rak ini dapat mendukung model parameter 27 triliun. GPT-4 dikabarkan memiliki model parameter 1,7 triliun. Nvidia mengatakan Amazon, Google, Microsoft, dan Oracle sudah berencana untuk menawarkan rak NVL72 dalam penawaran layanan cloud mereka, meskipun belum jelas berapa banyak yang mereka beli.
Dan tentu saja, Nvidia juga menawarkan solusi lainnya kepada perusahaan seperti DGX Superpod dengan DGX GB200, yang menggabungkan delapan sistem dalam satu dengan total 288 CPU, 576 GPU, memori 240 TB, dan 11,5 Exaflops komputasi FP4.
Nvidia mengatakan sistemnya dapat menskalakan hingga puluhan ribu superchip GB200, terhubung bersama dengan jaringan 800Gbps dengan Quantum-X800 InfiniBand (hingga 144 koneksi) atau Ethernet Spectrum-X800 (hingga 64 koneksi).Â
GPU NVIDIA Blackwell B200 akan menjadi chip monster. Ini menggabungkan total 160 SM setara 20.480 core. GPU akan menampilkan teknologi interkoneksi NVLink terbaru, mendukung arsitektur 8 GPU yang sama dan switch jaringan 400 GbE. Ini juga akan sangat haus daya dengan TGP 700W meskipun itu juga sama dengan chip H100 dan H200. Berikut spesifikasi dari GPU Blackwell B200:
- Node TSMC 4NP
- Menggunakan Multi-Chip Module (MCM)Â
- 2 GPU-208 miliar transistor
- 160 SM (20.480 core)
- Memori 192 GB HBM3eÂ
- Bandwith memori 8 TB/dtk
- 8192-bit memory busÂ
- Mendukung PCIe 6.0
- 700W TGP
Penulis memperkirakan Nvidia juga akan membawa arsitektur Blackwell ke GPU kelas konsumen atau gaming, tetapi GPU tersebut mungkin baru akan diluncurkan pada akhir tahun 2024 dan akan hadir pada tahun 2025, dan akan sangat berbeda dari chip data center enterpise.
