NVIDIA DGX Spark 8-Node AI Cluster, sekiz adet NVIDIA DGX Spark sistemini yüksek hızlı switch tabanlı ağ mimarisiyle bir araya getiren kompakt ve ölçeklenebilir bir yapay zekâ kümesidir.

Paket; sekiz adet NVIDIA DGX Spark, MikroTik CRS804 compute switch, dört adet 400G QSFP-DD → 2 × 200G QSFP56 breakout kablo, MikroTik CRS312 in-band management switch ve on adet Cat6 10GbE Ethernet kablosundan oluşur.

DGX Spark 8-Node AI Cluster, müşterinin tercihine göre kurulumsuz olarak teslim edilebilir veya OpenZeka tarafından ücretsiz ön kurulum yapılarak gönderilebilir. Kurulumsuz teslimatta tüm bileşenler standart paket içeriğiyle sunulur ve kurulum müşteri tarafından gerçekleştirilir. Ücretsiz ön kurulum tercih edildiğinde compute ve management ağları hazırlanır, bağlantılar kontrol edilir ve temel cluster iletişimi sevkiyat öncesinde doğrulanır.

Her DGX Spark node’u, NVIDIA ConnectX-7 ağı üzerinden compute switch’e 200GbE bağlantıyla bağlanır. Bu compute ağı, RoCEv2 tabanlı RDMA iletişimi kullanılarak NCCL collective işlemleri, model paralelleştirme ve dağıtık AI veri aktarımı için kullanılabilir. Yönetim, SSH, internet erişimi, model indirme ve standart ağ trafiği ise ayrı 10GbE management ağı üzerinden yürütülür. Böylece yüksek hızlı compute ağı, node’lar arası AI iletişimi için ayrılmış olur.

Sekiz Node ile Ölçeklenebilir AI Altyapısı

Her NVIDIA DGX Spark, 128 GB coherent unified system memory içerir. Dört node’lu konfigürasyon toplamda:

• 1 TB dağıtık unified memory kapasitesi

• 32 TB yerel NVMe depolama

sunar.

Sekiz node’lu yapı özellikle:

• Tek, iki veya üç Spark’ın toplam bellek kapasitesine sığmayan büyük modellerin dört node’a tensor parallel, pipeline parallel veya desteklenen başka bir dağıtık yöntemle bölünerek çalıştırılması

• Daha az sayıda Spark üzerinde çalışabilen modellerin, uygun paralelleştirme desteği bulunduğunda daha yüksek üretim hızıyla çalıştırılması

• Uzun context length kullanımında model ağırlıkları, KV cache ve çalışma belleği için daha fazla toplam kapasite sağlanması

• Aynı modele daha fazla eşzamanlı kullanıcının veya isteğin yönlendirildiği inference senaryolarında toplam sistem kapasitesinin artırılması

• Büyük dil modellerinin dağıtık inference yöntemiyle çalıştırılması

• NCCL ve MPI tabanlı çok düğümlü iletişim

• RAG ve agentic AI uygulamaları

• RoCEv2/RDMA üzerinden yüksek hızlı node-to-node veri iletişimi

• GPU iletişiminde host CPU üzerindeki ağ işleme yükünü azaltmayı amaçlayan RDMA altyapısı

• Multimodal üretken AI iş yükleri

• Model quantization ve performans testleri

• Veri merkezi ortamına geçmeden önce dağıtık mimari prototipleme

için uygun bir geliştirme ortamı sunar.

Model uyumluluğu ve ulaşılabilen performans; model mimarisi, quantization biçimi, context uzunluğu, KV cache ihtiyacı, framework desteği, batch büyüklüğü ve paralelleştirme yöntemine göre değişir.

Switch Tabanlı Compute Ağı

Compute ağı MikroTik CRS812 switch üzerinde kurulur.

CRS812 aşağıdaki yüksek hızlı bağlantı noktalarını içerir:

• 4 × 400G QSFP56-DD

Switch ayrıca RouterOS v7, dört çekirdekli 2 GHz ARM işlemci, 4 GB RAM, yedekli hot-swap güç kaynakları ve hot-swap fanlar sunar. MikroTik, bu modeli AI cluster ve yüksek hızlı east-west trafik gerektiren laboratuvar ortamları için de konumlandırmaktadır.

DGX Spark 8-Node konfigürasyonunda CRS804’ün dört adet 400G portu kullanılır. Her 400G port, pasif breakout kabloyla iki adet 200G QSFP56 bağlantıya ayrılır. Her Spark için 200GbE fiziksel bağlantı sağlanır.

DGX Spark 8-Node compute ağı, NVIDIA ConnectX-7 adaptörlerinin RoCEv2 ve RDMA yeteneklerinden yararlanacak şekilde yapılandırılır. RoCEv2, RDMA iletişimini Ethernet ve IP altyapısı üzerinden taşıyarak node’lar arasında düşük ek yükle, yüksek bant genişlikli veri aktarımı sağlar.

Bu yapı özellikle NCCL collective işlemleri, tensor parallelism, pipeline parallelism ve dağıtık inference sırasında node’lar arasında gerçekleştirilen yoğun veri transferleri için kullanılır.

RoCE performansı; switch kuyrukları, MTU, trafik sınıflandırması, PFC/akış kontrolü, ECN ve kullanılan yazılım ayarlarından etkilenebilir. OpenZeka kurulumunda bağlantı hızı, RDMA cihazları ve node’lar arası iletişim ayrıca doğrulanır.

Ayrı 10GbE Management Ağı

In-band management ağı MikroTik CRS312-4C+8XG-RM üzerinden sağlanır.

CRS312:

• 8 × 10G RJ45 Ethernet

• 4 × 10G RJ45/SFP+ combo port

• 120 Gbps non-blocking throughput

• 240 Gbps switching capacity

• RouterOS v7 veya SwitchOS

özelliklerine sahiptir.

Her Spark, CRS312’ye bir adet Cat6 Ethernet kablosuyla bağlanır. Bu ağ:

• SSH erişimi

• Sistem yönetimi

• Yazılım güncellemeleri

• Model indirme

• İnternet erişimi

• İzleme ve log trafiği

• Opsiyonel NAS erişimi

için kullanılır.

Compute ve management ağlarının ayrılması, standart yönetim ve internet trafiğinin ConnectX-7 compute bağlantısı üzerinden taşınmasını önleyerek yüksek hızlı ağın dağıtık AI iletişimine ayrılmasını sağlar.

Opsiyonel Paylaşımlı NAS Depolama

Cluster, opsiyonel olarak ASUSTOR Lockerstor AS6808T NAS ve sekiz adet NAS sınıfı disk ile sunulabilir. Standart örnek konfigürasyonda 8 × 8 TB Western Digital WD80EFPX-68C4ZN0 disk kullanılır. Disk markası, model numarası ve kapasitesi stok durumuna veya proje gereksinimine göre özelleştirilebilir.

Örnek 8 × 8 TB konfigürasyon:

Gerçek kullanılabilir alan; disk üreticisinin kapasite hesaplama yöntemi, RAID metadata’sı, dosya sistemi ve sistem rezervleri nedeniyle tabloda gösterilen brüt değerlerden daha düşük olur.

NAS, iki adet Cat6 Ethernet kablosu kullanılarak LACP destekli çift bağlantı ile MikroTik CRS312 switch’e bağlanır.

Bonding:

• Bağlantı yedekliliği

• Çoklu istemciler arasında yük dağıtımı

• Birden fazla eşzamanlı veri akışının paylaşılması

gibi avantajlar sağlayabilir.

Disk markası, disk kapasitesi ve RAID yapısı proje ihtiyacına göre özelleştirilebilir. Stok durumuna bağlı olarak belirtilen disk modeli yerine aynı kapasite ve kullanım sınıfında teknik olarak eşdeğer NAS diskleri sunulabilir.

OpenZeka Cluster Çözümü

DGX Spark 8-Node AI Cluster yalnızca sekiz bilgisayarın yan yana sunulduğu bir donanım paketi değildir. Yüksek hızlı compute ağı, ayrı management ağı, breakout bağlantı altyapısı ve opsiyonel paylaşımlı depolama birlikte ele alınarak dağıtık AI iş yükleri için bütünlüklü bir altyapı sunulur.

Sistem, müşterinin tercihine göre tüm bileşenleriyle birlikte kurulumsuz olarak teslim edilebilir veya OpenZeka tarafından ücretsiz ön kurulum yapılarak gönderilebilir. Ücretsiz ön kurulum kapsamında compute ve management bağlantıları hazırlanır, 200GbE linkler kontrol edilir, temel node erişimi oluşturulur ve cluster iletişimi doğrulanır.

Müşteriye özel model kurulumu, özel ağ politikaları, kurumsal entegrasyonlar, veri aktarımı, uygulama kurulumu ve performans optimizasyonu gibi ilave çalışmalar proje kapsamında ayrıca değerlendirilir.