Meta, Ohio eyaletindeki New Albany kampüsünde inşa ettiği gigawatt ölçekli yapay zeka süper kümesi Prometheus'un teknik detaylarını paylaştı. İki yıl önce sıradan bir web trafiği veri merkezi olan tesis, bugün Muse ailesi temel modellerini eğiten ve yaklaşık 1 milyon GPU'ya ölçeklenmesi planlanan dev bir altyapıya dönüştü.
Meta mühendisleri Kevin Lee, Yashar Bayani, Ahmed Sharif ve Yee Jiun Song imzalı teknik yazıda, donanım mimarisi, ağ yapısı ve güvenilirlik çalışmaları ayrıntılarıyla anlatılıyor. Şirket, Muse Wonder ön eğitim çalışmalarında yüzde 85'in üzerinde, pekiştirmeli öğrenme çalışmalarında ise yüzde 90'ın üzerinde "goodput" oranına ulaştığını açıkladı. Kesintiler arası ortalama süre bu çalışmalarda yaklaşık 47.000 GPU saati olarak ölçüldü; firmware güncellemeleriyle bu rakam 54.000 GPU saatinin üzerine çıktı. Meta'nın hedefi, her 8.000 GPU için günde iki kesinti, yani kesintiler arası yaklaşık 100.000 GPU saati.
İki NVIDIA Nesli Devrede, Vera Rubin Yolda
Prometheus şu anda NVIDIA'nın NVL72 raf mimarisi üzerine kurulu iki farklı platformu aynı anda çalıştırıyor; üçüncüsü Vera Rubin NVL72 tabanlı sistem ise yakında devreye girecek.
İlk platform Catalina, GB200 NVL72'nin Ariel varyantını kullanıyor: Meta'nın Open Compute Project'e katkı sağladığı Open Rack V3 tasarımı üzerinde, raf başına 36 GPU olmak üzere iki raflık bir yapı. Her Blackwell GPU, bir Grace CPU ve iki adet ConnectX-7 400G NIC ile eşleştiriliyor; bu da her GPU'ya 800G ölçeklenme bant genişliği sağlıyor. Meta, Ariel'i tercih etme nedenini standart ölçeklenme yaklaşımının GPU başına 400G'de kalacak olmasına bağlıyor. Bir Catalina çifti 72 Blackwell GPU, 192GB GPU başına olmak üzere toplam 13,4TB HBM3e bellek, FP8'de 720 PFLOPS zirve eğitim performansı (FP4'te 1.440 PFLOPS) ve yaklaşık 120kW güç tüketimi sunuyor.
İkinci platform Clemente ise GB300 NVL72'ye geçiyor. GPU başına HBM bellek 288GB'a, yani 1,5 kat artıyor; FP4 işlem gücü benzer oranda yükseliyor, dikkat (attention) hızlandırma kabaca iki katına çıkıyor. ConnectX-8 SuperNIC'ler GPU başına doğal olarak 800G sağlıyor ve 2:1 GPU-CPU oranıyla 72 GPU'luk tüm alan tek bir rafa sığıyor. Meta, Clemente için 20,7TB HBM3e, 1 eksaFLOPS'un üzerinde FP4 performansı ve raf başına yaklaşık 135kW güç tüketimi rakamlarını paylaştı; GB200 NVL72'ye göre yüzde 5-10 performans artışı bekleniyor.
Meta'nın bir sonraki platformu San Miguel, Vera Rubin NVL72'yi aynı ağ altyapısına taşıyacak. Şirketin paylaştığı rakamlara göre bu raf, GPU başına 288GB HBM4 bellek, 2,52 eksaFLOPS zirve FP4 eğitim performansı ve raf başına 170kW'ın üzerinde güç tüketimiyle, önceki nesle göre yüzde 10-20 performans artışı vadediyor.
Kaynaklar: [1] StorageReview