Üstün Yapay Zeka Performansı
NVIDIA GB300 NVL72, 72 adet NVIDIA Blackwell Ultra GPU ve 36 Arm® tabanlı NVIDIA Grace™ CPU’yu tek bir platformda birleştiren, tamamen sıvı soğutmalı, raf ölçekli bir tasarıma sahiptir. NVIDIA Quantum-X800 InfiniBand veya Spectrum™-X Ethernet ile birlikte ConnectX®-8 SuperNICS kullanan AI fabrikaları, GB300 NVL72 ile NVIDIA Hopper™ platformuna kıyasla yapay zeka akıl yürütme (AI reasoning) model çıkarımında 50 kat daha yüksek çıktı elde edebilir.
Yapay Zeka Fabrikalarının Benzeri Olmayan Düzeylere Ölçeklenmesi
Hopper ile karşılaştırıldığında GB300 NVL72, kullanıcı yanıt verme hızında (kullanıcı başına TPS) etkileyici 10 kat artış ve verimde (megavat başına TPS (MW)) 5 kat iyileştirme sağlar. Bu gelişmeler bir araya geldiğinde, genel AI fabrika çıktısında dikkate değer 50 katlık bir sıçramaya dönüşür.
Teknolojik Yenilikler
AI Tahmin Çıkarımı
NVIDIA Blackwell Ultra’nın Tensor Çekirdekleri, NVIDIA Blackwell GPU’larına kıyasla 2 kat daha fazla dikkat katmanı(attention-layer) hızlandırması ve saniyede 1,5 kat daha fazla AI hesaplama kayan nokta işlemi (FLOPS) ile güçlendirilmiştir.
28 GB of HBM3e
NVIDIA Grace CPU, yapay zeka, bulut ve HPC uygulamalarını çalıştıran modern veri merkezleri için tasarlanmış çığır açan bir işlemcidir. Günümüzün önde gelen sunucu işlemcilerine göre 2 kat daha fazla enerji verimliliğiyle olağanüstü performans ve bellek bant genişliği sağlar.
NVIDIA Blackwell Mimarisi
NVIDIA Blackwell mimarisi, hızlandırılmış hesaplamada çığır açan gelişmeler sunarak benzersiz performans, verimlilik ve ölçeklenebilirliğin yeni bir dönemini başlatıyor.
NVIDIA ConnectX-8 SuperNIC
NVIDIA ConnectX-8 SuperNIC’in giriş/çıkış (IO) modülü, NVIDIA GB300 NVL72’deki her GPU için saniyede 800 gigabit (Gb/s) ağ bağlantısı sağlayan iki ConnectX-8 cihazına ev sahipliği yapar. Bu, NVIDIA Quantum-X800 InfiniBand veya Spectrum-X Ethernet ağ platformlarıyla sınıfının en iyisi uzaktan doğrudan bellek erişimi (RDMA) yetenekleri sunarak en yüksek AI iş yükü verimliliğini sağlar.
NVIDIA Grace CPU
NVIDIA Grace CPU, yapay zeka, bulut ve HPC uygulamalarını çalıştıran modern veri merkezleri için tasarlanmış çığır açan bir işlemcidir. Günümüzün önde gelen sunucu işlemcilerine göre 2 kat daha fazla enerji verimliliğiyle olağanüstü performans ve bellek bant genişliği sağlar.
Beşinci Nesil NVIDIA NVLink
Exascale hesaplamanın ve trilyon parametreli yapay zeka modellerinin tam potansiyelinin ortaya çıkarılması, bir sunucu kümesindeki her GPU arasında hızlı, kesintisiz iletişim gerektirir. Beşinci nesil NVLink, trilyonlarca ve multi trilyonlarca parametreli yapay zeka modelleri için hızlandırılmış performansı ortaya çıkaran, ölçeği büyütülmüş bir ara bağlantıdır.
NVIDIA GB300 Grace Blackwell Ultra Superchip
NVIDIA GB300 NVL72 raf ölçekli çözümü için bir yapı taşı olarak, NVIDIA GB300 Grace Blackwell Ultra Superchip dört NVIDIA Blackwell Ultra GPU, iki Grace CPU ve dört ConnectX-8 SuperNIC içerir. NVIDIA NVLink Switch teknolojisi ve NVIDIA BlueField®-3 DPU’ları aracılığıyla, 18 süper çip yapay zeka akıl yürütme çağına özel olarak tasarlanmış tek bir dev GPU’da birleşiyor.
GB300 NVL72 Özellikleri
| GB300 NVL72 | |
|---|---|
| Konfigürasyon | 36 NVIDIA Grace CPU, 72 NVIDIA Blackwell GPU |
| FP4 Tensor Çekirdeği | 1,400 PFLOPS |
| FP8/FP6 Tensor Çekirdeği | 720 PFLOPS |
| INT8 Tensor Çekirdeği | 23 PFLOPS |
| FP16/BF16 Tensor Çekirdeği | 360 PFLOPS |
| TF32 Tensor Çekirdeği | 180 PFLOPS |
| FP32 | 6 PFLOPS |
| Hızlı Bellek | 40 TB’e kadar |
| GPU Bellek Bant Genişliği | 21 TB HBM3e’e kadar | 576 TB/s |
| NVLink Bant Genişliği | 130 TB/s |
| CPU Çekirdek Sayısı | 2,592 Arm Neoverse V2 çekirdekleri |
| CPU Bellek | Bant Genişliği | LPDDR5X ile 18 TB’a kadar SOCAMM | 14,3 TB/sn’ye kadar |
| FP64 / FP64 Tensor Çekirdeği | 100 TFLOPS |
