LLM Çıkarımı

vs. NVIDIA H100 Tensor Core GPU

LLM Eğitimi

vs. H100

Enerji Verimliliği

vs.H100

Veri İşleme

vs. CPU

GB200 NVL72, en son nesil Transformer Motoru ile yenilikçi yetenekler sunar ve FP4 AI’yi etkinleştirir. Beşinci nesil NVIDIA NVLink ile birleştiğinde, trilyon parametreli dil modelleri için gerçek zamanlı LLM çıkarımı performansını 30 kat daha hızlı hale getirir. Bu gelişme, yüksek doğruluk ve daha büyük işlem hacmi sağlayan yeni microscaling formatlarını tanıtan yeni nesil Tensor Çekirdekleri sayesinde mümkün olmuştur. Ek olarak, GB200 NVL72, iletişim darboğazlarını aşabilen tek bir devasa 72-GPU’luk bir raf oluşturmak için NVLink ve sıvı soğutma kullanır.

GB200 NVL72, FP8 hassasiyetine sahip daha hızlı ikinci nesil Transformer Motorunu içerir ve bu da büyük dil modellerinin ölçekli eğitimini 4 kat daha hızlı hale getirir. Bu atılım, GPU’dan GPU’ya 1.8 terabayt/saniye (TB/s) bağlantı sağlayan beşinci nesil NVLink, InfiniBand ağı ve NVIDIA Magnum IO yazılımı ile desteklenir.

Sıvı soğutmalı GB200 NVL72 rafları, bir veri merkezinin karbon ayak izini ve enerji tüketimini azaltır. Sıvı soğutma, hesaplama yoğunluğunu artırır, kullanılan zemin alanını azaltır ve büyük NVLink domain mimarileriyle yüksek bant genişliği, düşük gecikmeli GPU iletişimini kolaylaştırır. NVIDIA H100 hava soğutmalı altyapıya kıyasla, GB200 aynı güçte 25 kat daha fazla performans sunarken su tüketimini azaltır.

Veritabanları, işletmeler için büyük miktarda veriyi işleme, işleme ve analiz etmede kritik roller oynar. GB200, yüksek bant genişlikli bellek performansı, NVLink-C2C ve NVIDIA Blackwell mimarisindeki özel sıkıştırma motorlarından yararlanarak, CPU’ya kıyasla önemli veritabanı sorgularını 18 kat hızlandırır ve 5 kat daha iyi toplam sahip olma maliyeti (TCO) sunar.

NVIDIA Blackwell mimarisi, hızlandırılmış hesaplamada çığır açan ilerlemeler sunarak benzersiz performans, verimlilik ve ölçekle yeni bir hesaplama çağını güçlendiriyor.

NVIDIA Grace CPU, yapay zeka, bulut ve HPC uygulamalarını çalıştıran modern veri merkezleri için tasarlanmış çığır açan bir işlemcidir. Günümüzün önde gelen sunucu işlemcilerine göre 2 kat daha fazla enerji verimliliğiyle olağanüstü performans ve bellek bant genişliği sağlar.

Exascale hesaplamanın ve trilyon parametreli yapay zeka modellerinin tam potansiyelinin ortaya çıkarılması, bir sunucu kümesindeki her GPU arasında hızlı, kesintisiz iletişim gerektirir. Beşinci nesil NVLink, trilyonlarca ve multi trilyonlarca parametreli yapay zeka modelleri için hızlandırılmış performansı ortaya çıkaran, ölçeği büyütülmüş bir ara bağlantıdır.

Exascale hesaplamanın ve trilyon parametreli yapay zeka modellerinin tam potansiyelinin ortaya çıkarılması, bir sunucu kümesindeki her GPU arasında hızlı, kesintisiz iletişim gerektirir. Beşinci nesil NVLink, trilyonlarca ve multi trilyonlarca parametreli yapay zeka modelleri için hızlandırılmış performansı ortaya çıkaran, ölçeği büyütülmüş bir ara bağlantıdır.