NVIDIA, kurumsal veri merkezlerinin çoğunluğunun ihtiyacına göre tasarladığı RTX PRO 4500 Blackwell Server Edition'ı tanıttı. Tek slotlu, pasif soğutmalı ve 165W güç tüketimine sahip kart, L40S seviyesinde performansı çok daha düşük güç ve alan gereksinimiyle sunmayı hedefliyor.
Mevcut Sunuculara Doğrudan Uyum
Kart, 32GB GDDR7 bellek ve tam Blackwell özellik setiyle geliyor: beşinci nesil Tensor Çekirdekleri (FP4 desteğiyle), dördüncü nesil RT çekirdekleri, üç encoder ve üç decoder birimi. Multi-Instance GPU (MIG) desteği sayesinde kart, iki izole 16GB partisyona bölünebiliyor. NVIDIA'nın RTX PRO sunucu serisinde L4'ün yerini alan bu model, standart 2U PowerEdge, ProLiant ve ThinkSystem sunucularına güç veya soğutma sorunu yaşatmadan doğrudan takılabiliyor.
NVIDIA'nın bu kartla hedefi net: Her kurum bir "AI fabrikası" kurmuyor. Çoğu işletme, hava soğutmalı, rack güç limiti olan mevcut veri merkezlerinde çalışıyor ve yeni bir sunucu sınıfı gerektirmeyen ilk hızlandırılmış işlem adımına ihtiyaç duyuyor. RTX PRO 6000 Blackwell, 96GB bellek ve 600W'a kadar güçle pazarın üst segmentini kapsarken, 4500 aynı mimariyi koruyarak her şeyi yaklaşık yarıya indiriyor. Böylece daha küçük modeller çalıştıran veya watt başına maliyeti önemseyen kurumlar, kullanmayacakları fazladan kapasiteye ödeme yapmadan Blackwell mimarisine erişebiliyor.
Testlerde L40S'e Yakın Performans
Bu GPU sınıfının tipik iş yükleri arasında küçük dil modeli çıkarımı, görüntü işleme ve video analitiği, vektör arama, embedding üretimi, transkodlama ve vGPU 20 altında sanal iş istasyonları yer alıyor. NVIDIA, kartın L4'e göre küçük ve orta ölçekli model çıkarımında 5 kat, Nemotron modellerinde ise 10 kata varan performans artışı sağladığını belirtiyor. Lansman ortakları arasında kenar video analitiği için NTT DATA, dizileme için Pacific Biosciences ve AI-RAN baz istasyonları için Nokia bulunuyor. AWS ise yeni G7 örneklerini bu kart üzerine inşa ederek G6'nın yerine koydu.
StorageReview'in Dell PowerEdge R770 üzerinde yaptığı testlerde, RTX PRO 4500; L40S ve L4 ile karşılaştırıldı, ayrıca RTX PRO 6000 Blackwell verileriyle de kıyaslandı. Sonuçlara göre, tipik sohbet ve ajan bağlam uzunluklarında 4500, FP8 ve BF16 modellerinde L40S'in yarısından az güçle aynı performansı yakalıyor. Örneğin Ministral 3 14B FP8 modelinde 1.107 token/s değeriyle L40S'in 995 token/s'lik performansını geride bıraktı. Ministral 3 3B modelinde ise 2.006 token/s ile L40S'in 1.988 token/s'lik değerine çok yakın sonuç verdi. Ancak 8K giriş uzunluğunda 32GB bellek sınırları kendini göstermeye başlıyor.
Kaynaklar: [1] StorageReview