NVIDIA Ampere mimarisi; donanım, ağ, yazılım, kütüphaneler ve NVIDIA NGC™ kataloğundaki optimize edilmiş yapay zeka modelleri ve uygulamaları genelinde yapı taşlarını içeren birleşik NVIDIA EGX™ platformunun bir parçasıdır. Veri merkezleri için en güçlü uçtan uca yapay zeka ve HPC platformunu temsil eden bu platform, araştırmacıların hızla gerçek dünya sonuçları sunmasına ve çözümleri büyük ölçekte üretime dağıtmasına olanak tanır.

ERT-Large Pre-Training (9/10 epochs) Phase 1 and (1/10 epochs) Phase 2, Sequence Length for Phase 1 = 128 and Phase 2 = 512, dataset = real, NGC™ container = 21.03,​

8x GPU: T4 (FP32, BS=8, 2) | V100 PCIE 16GB (FP32, BS=8, 2) | A30 (TF32, BS=8, 2) | A100 PCIE 40GB (TF32, BS=54, 8) | batch sizes indicated are for Phase 1 and Phase 2 respectively

Dile dayalı yapay zeka modellerinin eğitilmesi, muazzam işlem gücü ve ölçeklenebilirlik gerektirir.

Tensor Float (TF32) özellikli NVIDIA A30 Tensor Çekirdekleri, sıfır kod değişikliği ile NVIDIA T4’e göre 10 kata kadar daha yüksek performans ve otomatik karma hassasiyet ve FP16 ile ek 2 kat artış sağlayarak toplamda 20 kat verim artışı sunar. NVIDIA® NVLink®, PCIe Gen4, NVIDIA ağ iletişimi ve NVIDIA Magnum IO™ SDK ile birleştirildiğinde binlerce GPU’ya kadar ölçeklendirmek mümkündür.

Tensör Çekirdekleri ve MIG, A30’un gün boyunca dinamik olarak iş yükleri için kullanılmasını sağlar. Talebin en yoğun olduğu saatlerde üretim çıkarımı için kullanılabilir ve GPU’nun bir kısmı, yoğun olmayan saatlerde aynı modelleri hızla yeniden eğitmek için yeniden kullanılabilir.

A30 çıkarım iş yüklerini optimize etmek için çığır açan özelliklerden yararlanır. FP64’ten TF32 ve INT4’e kadar tüm hassaslık aralıklarını hızlandırır. GPU başına dört adede kadar MIG’yi destekleyen A30, garantili hizmet kalitesi (QoS) ile güvenli donanım bölümlerinde birden fazla ağın aynı anda çalışmasını sağlar. Yapısal seyreklik desteği, A30’un diğer çıkarım performansı kazanımlarına ek olarak 2 kata kadar daha fazla performans sunar.

NVIDIA® TensorRT®, Precision = INT8, Sequence Length = 384, NGC Container 20.12, Latency <10ms, Dataset = Synthetic​ 1x GPU: A100 PCIe 40GB (BS=8) | A30 (BS=4) | V100 SXM2 16GB (BS=1) | T4 (BS=1)

TensorRT, NGC Container 20.12, Latency <7ms, Dataset=Synthetic,​ 1x GPU: T4 (BS=31, INT8) | V100 (BS=43, Mixed precision) | A30 (BS=96, INT8) | A100 (BS=174, INT8)

Değerlerde değişiklik olabilir.
Llama2 70B: ISL 2K, OSL 128 | Verim | H100 1x GPU BS 8 | H200 1x GPU BS 32
​

Bilim insanları çevremizdeki dünyayı daha iyi anlamak amacıyla simülasyonları kullanıyor.

NVIDIA A30, GPU’ların piyasaya sürülmesinden bu yana HPC performansında en büyük sıçramayı sağlayan FP64 NVIDIA Ampere mimarisi Tensor Çekirdeklerine sahiptir. Saniyede 933 gigabayt (GB/s) bant genişliğine sahip 24 gigabayt (GB) GPU belleği ile birlikte araştırmacılar çift hassasiyetli hesaplamaları hızla çözebilir. HPC uygulamaları ayrıca tek hassasiyetli, yoğun matris çarpma işlemlerinde daha yüksek verim elde etmek için TF32’den yararlanabilir.

FP64 Tensör Çekirdekleri ve MIG kombinasyonu, araştırma kurumlarının GPU’yu güvenli bir şekilde bölümlere ayırarak birden fazla araştırmacının garantili QoS ve maksimum GPU kullanımı ile bilgi işlem kaynaklarına erişmesini sağlar. Yapay zeka kullanan kurumlar, talebin en yoğun olduğu dönemlerde A30’un çıkarım yeteneklerini kullanabilir ve ardından yoğun olmayan dönemlerde aynı bilgi işlem sunucularını HPC ve yapay zeka eğitim iş yükleri için yeniden kullanabilir.