StorageReview'in güncel laboratuvar testi, kurumsal AI çıkarım (inference) pazarında hangi NVIDIA GPU'nun hangi iş yükü için doğru tercih olduğunu netleştirdi. Test, mevcut 2U ve 4U sunuculara takılabilen PCIe kartlarına odaklandı; HGX ve OAM modülleri kapsam dışı bırakıldı.
Tek Standart, Beş Kart, Net Sonuçlar
StorageReview, altı NVIDIA GPU'yu aynı koşullarda test etti: NGC vLLM 26.08 container'ı, vLLM 0.27.1, CUDA 13.4.1 ve aynı 595.71.05 sürücü. Beş kart Dell PowerEdge R770 üzerinde, RTX PRO 6000 ise Dell Pro Max Tower T2'de çalıştırıldı. Dört farklı modelde, 1'den 32'ye kadar eşzamanlı istek akışıyla (Hopper kartlarında 128'e kadar) yapılan testler, sonuçların tek bir zirve ölçümden değil tutarlı performanstan geldiğini gösterdi.
Testin ortaya koyduğu temel gerçek şu: kurumsal çıkarım işlerinde belirleyici faktör işlem gücünden çok bellek kapasitesi. 24-32GB bellekli kartlar küçük ve orta ölçekli modelleri kısa sohbet uzunluklarında iyi çalıştırıyor ama uzun promptlarda KV cache tükeniyor. 48-96GB kartlar orta ölçekli modelleri çoklu kullanıcı yüküyle rahatça taşıyor. 94GB ve 141GB HBM bellekli kartlar ise 70-120 milyar parametreli modelleri tek GPU üzerinde tutabilen tek kategori.
Kategorilere Göre Kazananlar
Genel performans liderliğini NVIDIA H200 NVL aldı. 141GB HBM3e bellek ve 4.8TB/s bant genişliğiyle, 512/512 sohbet senaryosunda saniyede 3.435 token, 8K/1K doküman senaryosunda 1.038 token üretti; FP8 MAMF değeri 1.262 TFLOPS'a ulaştı.
Kurumsal çıkarım kategorisinde en iyi sonuç NVIDIA RTX PRO 6000 Blackwell Server Edition'dan geldi. 96GB GDDR7 bellek, 600W güç profili (450W sınırlamalı modda da test edildi) ile 2.283 tok/s sohbet, 608 tok/s doküman performansı sundu.
Tek slotlu sunucular için NVIDIA RTX PRO 4500 Blackwell Server Edition öne çıktı: 32GB GDDR7 bellek, sadece 165W güç tüketimi ve 1.107 tok/s sohbet performansı ile kompakt dağıtımlar için güçlü bir seçenek oldu. Hâlâ üretimde olan NVIDIA L40S, 48GB GDDR6 bellek ve 350W güçle mainstream çıkarım segmentinde rekabetçi kaldı; 995 tok/s sohbet performansı kaydetti. 1U ve edge dağıtımlar için ise NVIDIA L4 slot gücüyle çalışan en pratik seçenek olarak öne çıktı.
Art Sistem olarak, bayilerimize ve kurumsal müşterilerimize bu sınıftaki NVIDIA kartlarının iş yüküne göre doğru eşleştirilmesi konusunda teknik danışmanlık sağlamaya devam ediyoruz. Doğru bellek-güç dengesi, sunucu yatırımının verimini doğrudan etkiliyor.
Kaynaklar: [1] StorageReview, storagereview.com/best/enterprise-gpus