Dünyanın en Güçlü Grafik Kartı
NVIDIA H200 Tensor Core GPU, eşsiz performansı ve bellek yetenekleri ile üretken yapay zeka ve yüksek performanslı hesaplama (HPC) iş yüklerine güç katıyor. HBM3e ile donatılmış ilk GPU olarak, H200’ün daha yüksek ve daha hızlı belleği, üretken yapay zeka ve büyük dil modellerinin (LLM’lerin) hızlanmasını sağlarken HPC iş yükleri için bilimsel hesaplama alanını ilerletiyor.
Üst Düzey Performansı Deneyimleyin
Llama2 70B Çıkarımı
1.9X
Daha Hızlı
GPT-3 175 Çıkarımı
1.6X
Daha Hızlı
Yüksek Başarımlı Hesaplama
110X
Daha Hızlı
DERİN ÖĞRENME PERFORMANSI
NVIDIA Hopper mimarisi üzerine kurulu olan NVIDIA H200, 4.8 terabayt/saniye hızında 141 gigabayt (GB) HBM3e bellek sunan ilk GPU’dur. ( NVIDIA H100 Tensor Core GPU’nun neredeyse iki katı kapasitede ve %1.4 daha fazla bellek bant genişliğine sahip olması anlamına geliyor.)H200’ün daha büyük ve hızlı belleği, üretken yapay zeka ve LLM’leri hızlandırırken, HPC iş yükleri için bilimsel hesaplama alanını daha iyi enerji verimliliği ve daha düşük toplam sahip olma maliyeti ile ilerletiyor.
Değerlerde değişiklik olabilir.
Llama2 13B: ISL 128, OSL 2K | Verim | H100 1x GPU BS 64 | H200 1x GPU BS 128
GPT-3 175B: ISL 80, OSL 200 | x8 H100 GPU’lar BS 64 | x8 H200 GPU’lar BS 128
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32.
Yüksek Performanslı LLM Çıkarımlarını Hızlandırın
H200, Llama2 gibi LLM’leri işlerken H100 GPU’lara kıyasla çıkarım hızını 2 katına kadar artırır.
HPC İş Yüklerini Hızlandırın
HPC uygulamaları için bellek bant genişliği, karmaşık işleme engellerini azaltarak daha hızlı veri transferine olanak tanıdığı için büyük önem taşır. Simülasyonlar, bilimsel araştırmalar ve yapay zeka gibi bellek yoğun HPC uygulamaları için, H200’ün yüksek bellek bant genişliği, verilerin etkili bir şekilde erişilip işlenmesini sağlar. Bu durum CPU’lara kıyasla sonuçlara ulaşma süresini 110 kat daha hızlı hale getirir.
Değerlerde değişiklik olabilir.
HPC MILC-veri kümesi NERSC Apex Medium | HGX H200 4-GPU | çift Safir Rapids 8480
HPC Uygulamaları- CP2K: H2O-32-RI-dRPA-96points veri kümesi | GROMACS: STMV veri kümesi | SİMGE: veri kümesi r2b5 | MILC: veri kümesi NERSC Apex Medium | Chroma: veri kümesi HMC Medium | Quantum Espresso: AUSURF112 veri kümesi | 1x H100 | 1x H200.
Değerlerde değişiklik olabilir.
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32
Enerjiyi ve Toplam Sahip Olma Maliyetini Azaltın
H200’nün tanıtımıyla birlikte enerji verimliliği ve TCO (toplam sahip olma maliyeti) yeni seviyelere ulaşıyor. Bu öncü teknoloji, H100 ile aynı güç profili içinde eşsiz bir performans sunuyor. Hızlı olmanın yanı sıra çevre dostu olan yapay zeka fabrikaları ve süper bilgisayar sistemleri, AI ve bilimsel topluluğu ileri taşıyan ekonomik bir avantaj sunuyor.
Tek düğümlü HGX ölçülen performans | A100 Nisan 2021 | H100 TensorRT-LLM Ekim 2023 | H200 TensorRT-LLM Ekim 2023
Özellikler
| Form Faktör | H200 SXM |
|---|---|
| FP64 | 34 TFLOPS |
| FP64 Tensor Çekirdeği | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| TF32 Tensor Çekirdeği | 989 TFLOS |
| BFLOAT16 Tensor Çekirdeği | 1,979 TFLOPS |
| FP16 Tensor Çekirdeği | 1,979 TFLOPS |
| FP8 Tensor Çekirdeği | 3,958 TFLOPS |
| GPU Belleği | 141 GB |
| GPU Bellek Bant Genişliği | 4.8 TB/s |
| Decoder | 7 NVDEC 7 JPEG |
| TDP Gücü | 700W |
| Multi-Instance GPU(MIG) | 7 MIG’e kadar, her biri @16.5GB |
| Form Faktörü | SXM |
| Ara Bağlantı | NVIDIA NVLink 900GB/s PCIe Gen5: 128GB/s |
| Sunucu Opsiyonları | NVIDIA HGX H200 partneri ve 4 veya 8 GPU’lu NVIDIA Sertifikalı Sistemler™ |
NVIDIA GPU’ları Canlı Hücre Simülasyonlarını Mümkün Kılıyor
Canlı olan her hücre, enerji üretimi, protein sentezleme, gen transkripsiyonu gibi süreçlerden sorumlu binlerce bileşene sahiptir. Urbana-Champaign'deki Illinois Üniversitesi'ndeki bilim insanları, bu fiziksel ve kimyasal özellikleri parçac...
