Benzersiz Single-Server Performansı
NVIDIA GB200 NVL2 platformu, 2 Blackwell GPU ve 2 Grace GPU aracılığıyla LLM çıkarımı, vektör veritabanı araması ve veri işleme için benzersiz performans sunarak yeni hesaplama çağını her veri merkezine getiriyor. Ölçeklenebilir, tek düğümlü NVIDIA MGX mimarisi ile tasarımı, hızlandırılmış hesaplamanın mevcut veri merkezi altyapısına sorunsuz bir şekilde entegre edilmesi için çok çeşitli sistem tasarımlarına ve ağ oluşturma seçeneklerine imkan sağlar.
Hızlandırılmış Hesaplama
Llama 3 Çıkarımı
5X
vs. NVIDIA H100 Tensor Core GPU
Vektör Veritabanı Araması
9X
vs. H100
Veri İşleme
18X
vs.CPU
Gerçek Zamanlı LLM Çıkarımı
GB200 NVL2, iki Grace CPU ve iki Blackwell GPU arasında paylaşılan 1,3 terabayta (TB) kadar bellek sunar. Bu paylaşılan bellek, Llama 3 70B gibi genel dil modelleri için 5 kat daha hızlı gerçek zamanlı LLM çıkarım performansı sağlamak üzere beşinci nesil NVIDIA NVLink ve yüksek hızlı çipten çipe (C2C) bağlantılarla birleştirilmiştir.
Vektör Veritabanı Araması
GB200 NLV2, RAG vektör arama işlemini 9 kata kadar hızlandırır. Wikipedia veri kümesinin vektör veritabanı 200 gigabaytın (GB) üzerindedir ve Grace CPU’nun 960 GB belleğine ve 900 GB/sn yüksek hızlı C2C bağlantısına erişim, düşük gecikmeli vektör aramasını güçlendirir.
Veri İşleme
Veritabanları, işletmeler için büyük hacimli verilerin işlenmesi, işlenmesi ve analiz edilmesinde kritik roller oynar. GB200 NVL2, önemli veritabanı sorgularını CPU’ya kıyasla 18 kat hızlandırmak için yüksek bant genişliğine sahip bellek performansından, NVLink-C2C’den ve NVIDIA Blackwell mimarisindeki özel sıkıştırma açma motorlarından yararlanır.
Teknolojik Yenilikler
Blackwell Mimarisi
NVIDIA Blackwell mimarisi, hızlandırılmış hesaplamada çığır açan ilerlemeler sunarak benzersiz performans, verimlilik ve ölçekle yeni bir hesaplama çağını güçlendiriyor.
NVIDIA Grace CPU
NVIDIA Grace CPU, yapay zeka, bulut ve HPC uygulamalarını çalıştıran modern veri merkezleri için tasarlanmış çığır açan bir işlemcidir. Günümüzün önde gelen sunucu işlemcilerine göre 2 kat daha fazla enerji verimliliğiyle olağanüstü performans ve bellek bant genişliği sağlar.
NVLINK C2C
NVIDIA NVLink-C2C, her Grace CPU’yu ve Blackwell GPU’yu 900 GB/s hızında tutarlı bir şekilde birbirine bağlar. GB200 NVL2, hızlandırılmış yapay zeka için 1,4 TB tutarlı bellek modeli sunmak üzere hem NVLink-C2C’yi hem de beşinci nesil NVLink’i kullanıyor.
Key Value (KV) Caching
Anahtar Değer (KV) Önbelleğe Alma, konuşma bağlamını ve geçmişini depolayarak LLM yanıt hızlarını artırır. GB200 NVL2, PCIe’den 7 kat daha hızlı olan NVLink-C2C ile bağlanan tamamen uyumlu Grace GPU ve Blackwell GPU belleği aracılığıyla KV Önbelleğe almayı optimize ederek LLM’lerin x86 tabanlı GPU uygulamalarından daha hızlı kelimeleri tahmin etmesini sağlar.
Beşinci Nesil NVLink
Exascale hesaplamanın ve trilyon parametreli yapay zeka modellerinin tam potansiyelinin ortaya çıkarılması, bir sunucu kümesindeki her GPU arasında hızlı, kesintisiz iletişim gerektirir. Beşinci nesil NVLink, trilyonlarca ve multi trilyonlarca parametreli yapay zeka modelleri için hızlandırılmış performansı ortaya çıkaran, ölçeği büyütülmüş bir ara bağlantıdır.
NVIDIA Networking
Exascale hesaplamanın ve trilyon parametreli yapay zeka modellerinin tam potansiyelinin ortaya çıkarılması, bir sunucu kümesindeki her GPU arasında hızlı, kesintisiz iletişim gerektirir. Beşinci nesil NVLink, trilyonlarca ve multi trilyonlarca parametreli yapay zeka modelleri için hızlandırılmış performansı ortaya çıkaran, ölçeği büyütülmüş bir ara bağlantıdır.
GB200 NVL2 Özellikleri
| GB200 NVL2 | |
|---|---|
| Konfigürasyon | 2 x Grace CPU’s, 2x Blackwell GPUs |
| FP4 Tensor Çekirdeği | 40 PFLOPS |
| FP8/FP6 Tensor Çekirdeği | 20 PFLOPS |
| INT8 Tensor Çekirdeği | 20 POPS |
| FP16/BF16 Tensor Çekirdeği | 10 PFLOPS |
| TF32 Tensor Çekirdeği | 5 PFLOPS |
| FP32 | 180 TFLOPS |
| FP64/FP64 Tensor Çekirdeği | 90 TFLOPS |
| GPU Bellek Bant Genişliği | 384GB’a kadar | 16TB/s |
| LPDDR5X Bellek | Bant Genişliği | 960GB’a kadar | 1024GB/s kadar |
| CPU Çekirdek Sayısı | 144 Arm Neoverse V2 çekirdekleri |
| Ara Bağlantı | NVLink: 1.8TB/s NVLink-C2C: 2x 90GB/s PCIe Gen6: 2x 256GB/s |
| Sunucu Opsiyonları | NVIDIA MGX kullanan çeşitli NVIDIA GB200 NVL2 yapılandırma seçenekleri. |
