Yapay zeka modelleri, yüz milyarlarca parametreyle etkileşim tabanlı yapay zeka iyileştirmesi, onlarca terabaytlık veri içeren tabloları gömerek derin öneri sistemleri geliştirmesi ve bilimsel keşifler sağlarken veri boyutu ve karmaşıklığı da bir o kadar artıyor. Bu muazzam büyüklükteki modeller, günümüz sistemlerinin sınırlarını zorluyor. Bu modelleri doğruluk ve kullanım açısından ölçeklendirmeye devam etmek, büyük bir bellek havuzuna çok hızlı erişim ve CPU ile GPU’nun sıkı bir şekilde beraber çalışmasını gerektiriyor.

NVIDIA’nın Kurucusu ve CEO’su Jensen Huang’ın NVIDIA Grace CPU tanıttığı GTC konuşmasını izleyin.

NVIDIA Grace CPU, hızlandırılmış hesaplama için sıfırdan tasarlanmış bir CPU ve sunucu mimarisi oluşturmak için Arm® mimarisinin esnekliğinden yararlanır. Bu yenilikçi tasarım, günümüzün en hızlı sunucularına kıyasla 30 kata kadar daha yüksek toplam bant genişliği ve terabaytlarca veri yükü olan uygulamalar için 10 kata kadar daha yüksek performans sağlar.

En karmaşık AI ve HPC problemlerini çözmek için yüksek kapasite ve yüksek bant genişliği hafızası(HBM) gereklidir. 4.nesil NVIDIA NVLink, NVIDIA Grace CPU ve NVIDIA GPU’ları arasında saniyede 900 gigabyte çift yönlü bant genişliği sağlar. Bağlantı, basitleştirilmiş programlanabilirlik için sistem ve HBM GPU belleğini birleştiren tümleşik, önbelleğe uyumlu bir bellek adres alanı sağlar.

Bellek bant genişliği, sunucu performansında kritik bir faktördür ve standart çift veri hızı (DDR – double data rate) belleği, toplam soket gücünün önemli bir bölümünü tüketir. NVIDIA Grace CPU, veri merkezinin taleplerini karşılamak için hata düzeltme kodu (ECC) gibi mekanizmalar aracılığıyla sunucu sınıfı güvenilirlikle LPDDR5x belleği kullanan ilk sunucu CPU’dur. Günümüz sunucu belleklerine kıyasla 2 kat daha fazla bellek bant genişliği ve 10 kata kadar daha iyi enerji verimliliği sunar. NVIDIA Grace LPDDR5x çözümü, büyük, yüksek performanslı, last level cache bir araya geldiğinde, büyük modeller için gerekli bant genişliğini sağlarken, yeni nesil iş yükleri için performansı en üst düzeye çıkarırken sistem gücünü azaltır.

GPU’ların paralel hesaplama yetenekleri gelişmeye devam etmesine rağmen, iş yükleri, CPU’da çalıştırılan seri görevler tarafından yönetilebilir. Hızlı ve verimli çalışan bir CPU, iş yüklerini maksimum performansta çalıştıracak sistem tasarımları için hayati bir öneme sahiptir. NVIDIA Grace CPU, güç açısından verimli bir tasarımda yüksek performans sunmak için yeni nesil Arm Neoverse™ çekirdekleriyle entegre olarak araştırmacıların işlerini kolaylaştırır.