NVIDIA A100 Tensor Core GPU, yapay zeka, veri analitiği ve HPC için dünyanın en yüksek performanslı elastik veri merkezlerine güç sağlamak için her ölçekte benzeri görülmemiş bir hızlanma sunar. NVIDIA Ampere mimari destekli A100, NVIDIA veri merkezi platformunun itici gücüdür. A100, önceki nesle göre 20 kata kadar daha yüksek performans sağlamasının yanında değişen taleplere dinamik olarak uyum sağlamak için yedi GPU örneğine bölünebilir. 40GB ve 80GB bellek olmak üzere iki versiyonu bulunmaktadır. A100 80GB, saniyede 2 terabaytlık dünyanın en hızlı bellek bant genişliğiyle, en büyük modellerin ve veri setlerinin kolayca üstesinden gelebilir.

NVIDIA A100 Datasheet >

A100 80GB PCIe Ürün Özeti > 

A100 40GB PCIe Ürün Özeti >

A100, donanım, aÄŸ, yazılım, kütüphaneler ve NGCâ„¢‘nin optimize edilmiÅŸ yapay zeka modelleri ve uygulamaları genelinde yapı taÅŸlarını bir araya getiren eksiksiz NVIDIA veri merkezi çözümünün bir parçasıdır. Veri merkezleri için en güçlü uçtan uca AI ve HPC platformununun itici gücü olarak, araÅŸtırmacıların hızlı bir ÅŸekilde sonuç elde etmesine ve çözümlerini üretime uygun ölçeklerde dağıtmasını saÄŸlar.

DLRM on HugeCTR framework, precision = FP16 | ​NVIDIA A100 80GB batch size = 48 | NVIDIA A100 40GB batch size = 32 | NVIDIA V100 32GB batch size = 32.

Yapay zeka modelleri, konuşma tabanlı yapay zeka gibi ileri seviye meydan okumaları çözmeye çalışırken, modellerin karmaşıklığı da giderek artıyor. Böyle ileri modellerin eğitilmesi muazzam miktarda hesaplama ve ölçeklenme kapasitesine ihtiyaç duyuyor.

Tensor Float’lı (TF32) NVIDIA A100 Tensör Çekirdekleri, kod deÄŸiÅŸikliÄŸi yapmadan, otomatik karışık hassasiyet ve FP16’ya ek 2 kat artırma ile NVIDIA Volta’ya göre 20 kata kadar daha yüksek performans saÄŸlar. NVIDIA® NVLink®, NVIDIA NVSwitchâ„¢, PCI Gen4, NVIDIA® InfiniBand® ve NVIDIA Magnum IOâ„¢ SDK ile birleÅŸtirildiÄŸinde, binlerce A100 GPU’ya ölçeklendirmek mümkündür.

BERT gibi bir eğitim iş yükü, 2.048 adet A100 GPU ile ölçeklendirilerek bir dakikadan daha kısa bir sürede çözülerek dünya rekoru kırıldı.

Derin öğrenme öneri modelleri (DLRM) gibi devasa veri tablolarına sahip en büyük modeller için A100 80GB, düğüm başına 1,3 TB’a kadar birleÅŸik belleÄŸe ulaşır ve A100 40GB’a göre 3 kata kadar verim artışı saÄŸlar.

NVIDIA MLPerf’teki sektör genelindeki yapay zeka eÄŸitimi için karşılaÅŸtırmalı deÄŸerlendirmede birden fazla performans rekoru kırdı.

A100, çıkarım iÅŸ yüklerini optimize etmek için çığır açan özelliklere sahiptir. FP32’den INT4’e kadar precision aralığını hızlandırır. Multi-Instance GPU (MIG) teknolojisi, hesaplama kaynaklarının optimum kullanımı için birden fazla ağın tek bir A100 üzerinde aynı anda çalışmasına izin verir. Yapısal seyreklik desteÄŸi, A100’ün diÄŸer çıkarım performansı özelliklerine ek olarak 2 kata kadar daha fazla performans sunar.

BERT gibi son teknoloji konuÅŸma tabanlı yapay zeka modellerinde A100, çıkarım verimini CPU’lara göre 249 kata kadar hızlandırır.

Otomatik konuÅŸma tanıma için constrained batch size RNN-T gibi en karmaşık modellerde, artırılmış bellek kapasiteli A100 80GB’ın , her MIG parçasının boyutunu iki katına çıkarır. A100 40GB’a göre 1,25 kat daha yüksek verim saÄŸlar.

NVIDIA’nın pazar lideri performansı MLPerf Inference‘da gösterildi. A100, bu liderliÄŸini ileriye taşımak için 20 kat daha fazla performans getiriyor.

BERT-LARGE Çıkarımı

BERT-Large Inference | CPU only: Dual Xeon Gold 6240 @ 2.60 GHz, precision = FP32, batch size = 128 | V100: NVIDIA TensorRT™ (TRT) 7.2, precision = INT8, batch size = 256 | A100 40GB and 80GB, batch size = 256, precision = INT8 with sparsity.​

RNN-T Çıkarımı: Single Stream

MLPerf 0.7 RNN-T measured with (1/7) MIG slices. Framework: TensorRT 7.2, dataset = LibriSpeech, precision = FP16.

Bilim insanları yeni keşifleri yapabilmek için simülasyonlar ile üstünde yaşadığımız dünyayı anlamaya çalışıyorlar.

NVIDIA A100, GPU’ların piyasaya sürülmesinden bu yana HPC performansında en büyük sıçramayı saÄŸlamak için çift hassasiyetli(double precision) Tensör Çekirdeklerini sunar. AraÅŸtırmacılar, A100 80 GB’lık en hızlı GPU belleÄŸiyle 10 saatlik, çift duyarlıklı(double precision) simülasyonu dört saatin altına indirebilir. HPC uygulamaları, tek duyarlıklı, yoÄŸun matris çarpma iÅŸlemleri için 11 kata kadar daha yüksek verim elde etmek için TF32’yi de kullanabilir.

En büyük veri kümelerine sahip HPC uygulamaları için, A100 80GB’nin ek belleÄŸi, Quantum Espresso simülasyonu ile 2 kata kadar çıktı artışı saÄŸlar. Bu muazzam bellek ve benzersiz bellek bant geniÅŸliÄŸi, A100 80GB’yi yeni nesil iÅŸ yükleri için ideal platform haline getiriyor.

En İyi HPC Uygulamaları

Geometric mean of application speedups vs. P100: Benchmark application: Amber [PME-Cellulose_NVE], Chroma [szscl21_24_128], GROMACS [ADH Dodec], MILC [Apex Medium], NAMD [stmv_nve_cuda], PyTorch (BERT-Large Fine Tuner], Quantum Espresso [AUSURF112-jR]; Random Forest FP32 [make_blobs (160000 x 64 : 10)], TensorFlow [ResNet-50], VASP 6 [Si Huge] | GPU node with dual-socket CPUs with 4x NVIDIA P100, V100, or A100 GPUs.

Quantum Espresso​

Quantum Espresso measured using CNT10POR8 dataset, precision = FP64.

Big data analytics benchmark | 30 analytical retail queries, ETL, ML, NLP on 10TB dataset | V100 32GB, RAPIDS/Dask | A100 40GB and A100 80GB, RAPIDS/Dask/BlazingSQL​

Veri bilimcilerinin büyük veri kümelerini, analiz edebilmesi, görselleştirebilmesi ve içgörülere dönüştürebilmelidir. Ancak ölçeği artış çözümleri genellikle birden çok sunucuya dağılmış veri kümeleri tarafından tıkanır.

A100’e sahip hızlandırılmış sunucular, bu iÅŸ yüklerinin üstesinden gelmek için yüksek bellek, 2 TB/sn’nin üzerinde bellek bant geniÅŸliÄŸi, NVIDIA® NVLink® ve NVSwitchâ„¢ ile ölçeklenebilirlik için gerekli hesaplama gücünü saÄŸlar. NVIDIA veri merkezi platformu InfiniBand, NVIDIA Magnum IOâ„¢ ve GPU hızlandırmalı veri analizi için RAPIDS Accelerator for Apache Spark dahil olmak üzere RAPIDSâ„¢ açık kaynaklı kitaplıklar paketi ile birlikte bu iÅŸ yüklerinin benzeri görülmemiÅŸ performans ve verimle üstesinden gelir.

A100 80GB büyük veri analitiÄŸi karşılaÅŸtırmasında, A100 40GB’a göre 2 kat artışla içgörüler sunarak, veri kümesi boyutlarının inanılmaz boyutlara ulaÅŸtığı modern iÅŸ yükleri için ideal hale geldi.

BERT Large Çıkarımı

BERT Large Inference | NVIDIA TensorRT™ (TRT) 7.1 | NVIDIA T4 Tensor Core GPU: TRT 7.1, precision = INT8, batch size = 256 | V100: TRT 7.1, precision = FP16, batch size = 256 | A100 with 1 or 7 MIG instances of 1g.5gb: batch size = 94, precision = INT8 with sparsity.​

MIG destekli A100, GPU hızlandırmalı altyapının kullanımını en üst düzeye çıkarır. Bir A100 GPU, MIG ile yedi adede kadar bağımsız örneğe bölünerek birden fazla kullanıcının GPU hızlandırmasına erişmesini sağlar. Bir A100 40GB GPU’da her bir MIG örneği 5GB’a kadar, bir A100 80GB GPU’da bellek kapasitesi 2 kat artışla 10GB’a kadar tahsis edilebilir.

MIG, Kubernetes, konteynerlar ve hiper yönetici tabanlı sunucu sanallaştırma ile çalışır. MIG, altyapı yöneticilerinin her iş için garantili hizmet kalitesi (QoS) ile doğru boyutta bir GPU sunmasını sağlayarak, hızlandırılmış hesaplama kaynaklarının erişimini her kullanıcıya genişletir.

* With sparsity
** SXM4 GPUs via HGX A100 server boards; PCIe GPUs via NVLink Bridge for up to two GPUs

Ampere mimarisinin NVIDIA A100’deki kullanımını inceleyin.