NVIDIA DGX A100
AI Altyapısı İçin Evrensel Sistem
NVIDIA DGX A100
AI Altyapısı İçin Evrensel Sistem
DÜNYANIN İLK NVIDIA A100 ÜSTÜNE İNŞA EDİLEN AI SİSTEMİ
NVIDIA DGX™ A100, dünyanın ilk 5 petaFLOPS AI sisteminde benzersiz hesaplama yoğunluğu, performans ve esneklik sunan tüm AI iş yükleri için evrensel bir sistemdir. NVIDIA DGX A100, dünyanın en gelişmiş hızlandırıcısı olan NVIDIA A100 Tensor Core GPU’ya sahiptir. Kuruluşların eğitim, çıkarım ve analitiği NVIDIA AI uzmanlarına doğrudan erişim içeren birleşik, kurulumu kolay bir AI altyapısında birleştirmesini sağlar.
DÜNYANIN İLK NVIDIA A100 ÜSTÜNE İNŞA EDİLEN AI SİSTEMİ
NVIDIA DGX™ A100, dünyanın ilk 5 petaFLOPS AI sisteminde benzersiz hesaplama yoğunluğu, performans ve esneklik sunan tüm AI iş yükleri için evrensel bir sistemdir. NVIDIA DGX A100, dünyanın en gelişmiş hızlandırıcısı olan NVIDIA A100 Tensor Core GPU’ya sahiptir. Kuruluşların eğitim, çıkarım ve analitiği NVIDIA AI uzmanlarına doğrudan erişim içeren birleşik, kurulumu kolay bir AI altyapısında birleştirmesini sağlar.
AI VERİ MERKEZİNİN TEMEL YAPI TAŞI
Her AI İş Yükü İçin Evrensel Sistem
NVIDIA DGX A100, analitik, eğitim ve çıkarım için bütün AI altyapılarına uygun evrensel bir sistemdir. 5 petaFLOPS’luk AI gücünü, 6U form faktörüne sığdırarak, eski altyapı silolarını her AI iş yükü için tek bir platformla değiştirerek hesaplama yoğunluğu için yeni bir standart oluşturuyor.
DGXperts: AI Uzmanlığına Entegre Erişim
NVIDIA DGXperts, DGX yatırımınızdan en üst düzeyde fayda sağlamanıza yardımcı olmak için son on yılda zengin bir deneyime sahip 16.000’den fazla profesyonelden oluşan küresel bir ekiptir.
En Hızlı Çözüm
NVIDIA DGX A100, dünyanın ilk NVIDIA A100 Tensor Çekirdek GPU’su üstüne inşa edilmiş AI sistemidir. Sekiz A100 GPU’yu 640 GB GPU belleğiyle entegre eden sistem, muazzam bir hız artışı sağlar. Sistem, NVIDIA CUDA-X™ yazılımı ve uçtan uca NVIDIA veri merkezi çözüm yığını için optimize edilmiştir.
Veri Merkezi Ölçeklenebilirliği
NVIDIA DGX A100, 500GB/sn çift yönlü bant genişliğine sahip Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet ağ adaptörlerine sahiptir. Bu adaptörler, DGX A100’ü, ölçeklenebilir AI altyapısı için kurumsal plan olan NVIDIA DGX SuperPOD™ gibi büyük AI kümeleri için temel yapı taşı yapan birçok özellikten sadece bir tanesidir.
AI VERİ MERKEZİNİN TEMEL YAPI TAŞI
Her AI İş Yükü İçin Evrensel Sistem
NVIDIA DGX A100, analitik, eğitim ve çıkarım için bütün AI altyapılarına uygun evrensel bir sistemdir. 5 petaFLOPS’luk AI gücünü, 6U form faktörüne sığdırarak, eski altyapı silolarını her AI iş yükü için tek bir platformla değiştirerek hesaplama yoğunluğu için yeni bir standart oluşturuyor.
DGXperts: AI Uzmanlığına Entegre Erişim
NVIDIA DGXperts, DGX yatırımınızdan en üst düzeyde fayda sağlamanıza yardımcı olmak için son on yılda zengin bir deneyime sahip 16.000’den fazla profesyonelden oluşan küresel bir ekiptir.
En Hızlı Çözüm
NVIDIA DGX A100, dünyanın ilk NVIDIA A100 Tensor Çekirdek GPU’su üstüne inşa edilmiş AI sistemidir. Sekiz A100 GPU’yu 640 GB GPU belleğiyle entegre eden sistem, muazzam bir hız artışı sağlar. Sistem, NVIDIA CUDA-X™ yazılımı ve uçtan uca NVIDIA veri merkezi çözüm yığını için optimize edilmiştir.
Veri Merkezi Ölçeklenebilirliği
NVIDIA DGX A100, 500GB/sn çift yönlü bant genişliğine sahip Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet ağ adaptörlerine sahiptir. Bu adaptörler, DGX A100’ü, ölçeklenebilir AI altyapısı için kurumsal plan olan NVIDIA DGX SuperPOD™ gibi büyük AI kümeleri için temel yapı taşı yapan birçok özellikten sadece bir tanesidir.
AI İle Çalışmanın Daha Kolay ve Hızlı Yolu
NVIDIA AI Starter Kit, AI girişimlerinizi hızlı bir şekilde başlatmak ve çalıştırmak için birinci sınıf bir AI platformundan optimize edilmiş yazılım, araçlar ve danışmanlık hizmetlerine kadar ekibinizin bütün ihtiyaçlarına cevap verir. Gün içinde güce takın ve çalıştırın, bir hafta içinde kullanım senaryoları tanımlayın ve kısa sürede modellerinizi ürünleştirin.
AI İle Çalışmanın Daha Kolay ve Hızlı Yolu
NVIDIA AI Starter Kit, AI girişimlerinizi hızlı bir şekilde başlatmak ve çalıştırmak için birinci sınıf bir AI platformundan optimize edilmiş yazılım, araçlar ve danışmanlık hizmetlerine kadar ekibinizin bütün ihtiyaçlarına cevap verir. Gün içinde güce takın ve çalıştırın, bir hafta içinde kullanım senaryoları tanımlayın ve kısa sürede modellerinizi ürünleştirin.
Daha Karmaşık Veri Bilimi Problemlerini Daha Hızlı Çözün
Faydalar:
Çalışmaya hazır, optimize edilmiş AI yazılımıyla uzun süren karmaşık kurulum ve testleri ortadan kaldırın.
Daha fazla yinelemeye olanak tanıyan yüksek performansıyla daha iyi modelleri daha hızlı oluşturun.
Sistem entegrasyonu ve mühendislikte zaman kaybının önüne geçin.
Altyapıyı Sahada Devreye Alın ve Ölçekte AI’ı Operasyonelleştirin
Faydalar:
Tüm AI iş yükleri için tek bir sistemde basitleştirilmiş altyapı tasarımı ve kapasite planlamasını deneyimleyin.
En küçük ayak iziyle en yüksek hesaplama işlem yoğunluğunu ve performansını elde edin.
Her katmanda yerleşik güvenliğin avantajlarını kullanın.
Kısa Sürede İçgörüler Elde Edin ve AI Yatırımınızın Getirisini Hızlandırın
Faydaları:
Veri Bilimcilerin üretkenliğini artırırken getirisi olmayan efordan kaçının.
Konsept tasarımdan üretime kadar olan geliştirme döngünüzü hızlandırın.
DGXpert’ler ile beraber engelleri ortadan kaldırın.
Daha Karmaşık Veri Bilimi Problemlerini Daha Hızlı Çözün
Faydalar:
Çalışmaya hazır, optimize edilmiş AI yazılımıyla uzun süren karmaşık kurulum ve testleri ortadan kaldırın.
Daha fazla yinelemeye olanak tanıyan yüksek performansıyla daha iyi modelleri daha hızlı oluşturun.
Sistem entegrasyonu ve mühendislikte zaman kaybının önüne geçin.
Altyapıyı Sahada Devreye Alın ve Ölçekte AI’ı Operasyonelleştirin
Faydalar:
Tüm AI iş yükleri için tek bir sistemde basitleştirilmiş altyapı tasarımı ve kapasite planlamasını deneyimleyin.
En küçük ayak iziyle en yüksek hesaplama işlem yoğunluğunu ve performansını elde edin.
Her katmanda yerleşik güvenliğin avantajlarını kullanın.
Kısa Sürede İçgörüler Elde Edin ve AI Yatırımınızın Getirisini Hızlandırın
Faydaları:
Veri Bilimcilerin üretkenliğini artırırken getirisi olmayan efordan kaçının.
Konsept tasarımdan üretime kadar olan geliştirme döngünüzü hızlandırın.
DGXpert’ler ile beraber engelleri ortadan kaldırın.
Kuralları Değiştiren Performans
EĞİTİM
DLRM EĞİTİMİ
Büyük Modellerin Eğitiminde 3 Kat Daha Yüksek Verim
DLRM on HugeCTR framework, precision = FP16 | 1x DGX A100 640GB batch size = 48 | 2x DGX A100 320GB batch size = 32 | 1x DGX-2 (16x V100 32GB) batch size = 32. Speedups Normalized to Number of GPUs.
ÇIKARIM
RNN-T Çıkarımı: Single Stream
AI Çıkarımı İçin 1.25 Kat Daha Yüksek Verim
MLPerf 0.7 RNN-T measured with (1/7) MIG slices. Framework: TensorRT 7.2, dataset = LibriSpeech, precision = FP16.
VERİ ANALİZİ
Büyük Veri Analizi Karşılaştırması
CPU’ya göre 83 kat, DGX A100 320GB’a Göre 2 Kat Daha Yüksek Verim
Big data analytics benchmark | 30 analytical retail queries, ETL, ML, NLP on 10TB dataset | CPU: 19x Intel Xeon Gold 6252 2.10 GHz, Hadoop | 16x DGX-1 (8x V100 32GB each), RAPIDS/Dask | 12x DGX A100 320GB and 6x DGX A100 640GB, RAPIDS/Dask/BlazingSQL. Speedups Normalized to Number of GPUs
DGX A100’ÜN GÜÇLÜ BİLEŞENLERİNİ KEŞFEDİN
1) 8X NVIDIA A100 GPUS 640 GB TOPLAM GPU BELLEĞİ
12 NVLinks/GPU, 600 GB/s GPU-to-GPU Çift Yönlü Bant Genişliği
2) 6X NVIDIA NVSWITCH
4.8 TB/s Çift Yönlü Bant Genişliği, Bir Önceki Nesle Göre 2 kat Daha Fazla Performans
3) 10X MELLANOX CONNECTX-6 200 Gb/s NETWORK INTERFACE
500 GB/s En Yüksek Çift Yönlü Bant Genişliği
4) DUAL 64-CORE AMD CPU’LAR VE 2 TB SİSTEM BELLEĞİ
Yoğun AI İş Yükleri İçin 3.2 kat Daha Fazla Çekirdek
5) 30 TB GEN4 NVME SSD
50 GB/s Yüksek Bant Genişliği, Gen3 NVME SSD’lerine Göre 2 Kat Daha Fazla Hız
NVIDIA DGX A100’UN İÇİNDEKİ TEKNOLOJİ
NVIDIA A100 Tensor Çekirdekli GPU
NVIDIA A100 Tensor Çekirdekli GPU, dünyanın en zorlu hesaplama zorluklarının üstesinden gelmek için AI, veri analitiği ve yüksek başarımlı hesaplama (HPC) için muazzam miktarda hızlanma sunar. 3.nesil NVIDIA Tensor Çekirdekleri ile A100 GPU, boyut fark etmeksizin iş yüklerini hızlandırmak için verimli bir şekilde binlerce GPU’ya ölçeklenebilir veya Multi Instance GPU özelliğiyle yedi özel örnek birim olarak ayrılabilir.
Multi-Instance GPU (MIG)
DGX A100 içindeki sekiz tane A100 GPU, MIG sayesinde kendi yüksek bant genişliğine sahip bellekleri, cache ve hesap çekirdeğine sahip tamamen izole 56 GPU örneğine bölünebilir. Bu sayede yöneticiler birden çok iş yükü için garantili hizmet kalitesi (QoS) ile GPU’ları doğru boyutlandırabilir.
Mellanox ConnectX-6 VPI HDR InfiniBand
DGX A100, büyük ölçekli AI iş yükleri için yüksek hızlı bir yapı oluşturmak için her biri saniyede 200 gigabit (Gb/s) hızında çalışan en yeni Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet adaptörlerine sahiptir.
Optimize Yazılım Yığını
DGX A100, AI-tuned temel işletim sistemi, gerekli tüm sistem yazılımı, GPU ile hızlandırılmış uygulamalar, önceden eğitilmiş modeller ve NGC™‘deki sayısız uygulamayı içeren test ve optimize edilmiş bir DGX yazılım yığınını entegre eder.
Yerleşik Güvenlik
DGX A100, temel kart yönetim denetleyicisi (BMC), CPU kartı, GPU kartı, kendinden şifreli sürücüler ve güvenli önyüklemeye yayılan çok katmanlı bir yaklaşımla AI dağıtımları için en iyi güvenlik çözümünü sunar.
NVIDIA DGX A100’UN İÇİNDEKİ TEKNOLOJİ
NVIDIA A100 Tensor Çekirdekli GPU
NVIDIA A100 Tensor Çekirdekli GPU, dünyanın en zorlu hesaplama zorluklarının üstesinden gelmek için AI, veri analitiği ve yüksek başarımlı hesaplama (HPC) için muazzam miktarda hızlanma sunar. 3.nesil NVIDIA Tensor Çekirdekleri ile A100 GPU, boyut fark etmeksizin iş yüklerini hızlandırmak için verimli bir şekilde binlerce GPU’ya ölçeklenebilir veya Multi Instance GPU özelliğiyle yedi özel örnek birim olarak ayrılabilir.
Multi-Instance GPU (MIG)
DGX A100 içindeki sekiz tane A100 GPU, MIG sayesinde kendi yüksek bant genişliğine sahip bellekleri, cache ve hesap çekirdeğine sahip tamamen izole 56 GPU örneğine bölünebilir. Bu sayede yöneticiler birden çok iş yükü için garantili hizmet kalitesi (QoS) ile GPU’ları doğru boyutlandırabilir.
Mellanox ConnectX-6 VPI HDR InfiniBand
DGX A100, büyük ölçekli AI iş yükleri için yüksek hızlı bir yapı oluşturmak için her biri saniyede 200 gigabit (Gb/s) hızında çalışan en yeni Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet adaptörlerine sahiptir.
Optimize Yazılım Yığını
DGX A100, AI-tuned temel işletim sistemi, gerekli tüm sistem yazılımı, GPU ile hızlandırılmış uygulamalar, önceden eğitilmiş modeller ve NGC™‘deki sayısız uygulamayı içeren test ve optimize edilmiş bir DGX yazılım yığınını entegre eder.
Yerleşik Güvenlik
DGX A100, temel kart yönetim denetleyicisi (BMC), CPU kartı, GPU kartı, kendinden şifreli sürücüler ve güvenli önyüklemeye yayılan çok katmanlı bir yaklaşımla AI dağıtımları için en iyi güvenlik çözümünü sunar.
NVIDIA DGX A100’UN İÇİNDEKİ TEKNOLOJİ
NVIDIA A100 Tensor Çekirdekli GPU
NVIDIA A100 Tensor Çekirdekli GPU, dünyanın en zorlu hesaplama zorluklarının üstesinden gelmek için AI, veri analitiği ve yüksek başarımlı hesaplama (HPC) için muazzam miktarda hızlanma sunar. 3.nesil NVIDIA Tensor Çekirdekleri ile A100 GPU, boyut fark etmeksizin iş yüklerini hızlandırmak için verimli bir şekilde binlerce GPU’ya ölçeklenebilir veya Multi Instance GPU özelliğiyle yedi özel örnek birim olarak ayrılabilir.
Multi-Instance GPU (MIG)
DGX A100 içindeki sekiz tane A100 GPU, MIG sayesinde kendi yüksek bant genişliğine sahip bellekleri, cache ve hesap çekirdeğine sahip tamamen izole 56 GPU örneğine bölünebilir. Bu sayede yöneticiler birden çok iş yükü için garantili hizmet kalitesi (QoS) ile GPU’ları doğru boyutlandırabilir.
Mellanox ConnectX-6 VPI HDR InfiniBand
DGX A100, büyük ölçekli AI iş yükleri için yüksek hızlı bir yapı oluşturmak için her biri saniyede 200 gigabit (Gb/s) hızında çalışan en yeni Mellanox ConnectX-6 VPI HDR InfiniBand/Ethernet adaptörlerine sahiptir.
Optimize Yazılım Yığını
DGX A100, AI-tuned temel işletim sistemi, gerekli tüm sistem yazılımı, GPU ile hızlandırılmış uygulamalar, önceden eğitilmiş modeller ve NGC™‘deki sayısız uygulamayı içeren test ve optimize edilmiş bir DGX yazılım yığınını entegre eder.
Yerleşik Güvenlik
DGX A100, temel kart yönetim denetleyicisi (BMC), CPU kartı, GPU kartı, kendinden şifreli sürücüler ve güvenli önyüklemeye yayılan çok katmanlı bir yaklaşımla AI dağıtımları için en iyi güvenlik çözümünü sunar.
