Açık kaynaklı masaüstü uygulaması Jan, yerel büyük dil modellerini (LLM) çalıştırmayı sıradan kullanıcılar için daha erişilebilir hale getirmeyi hedefliyor. StorageReview'in yayınladığı yeni inceleme, Jan'ın v0.8.6 sürümünü Windows 11 ortamında profesyonel bir iş istasyonunda test etti ve kurulumdan model yönetimine kadar tüm süreci mercek altına aldı.

Jan, kendisini "ChatGPT alternatifi" olarak konumlandırıyor. Tanıdık bir sohbet arayüzü sunarken, llama.cpp altyapısı üzerinden indirilen modelleri yerel olarak çalıştırabiliyor. Aynı zamanda bulut tabanlı AI servislerine de bağlanabiliyor, böylece kullanıcılar tek bir arayüzden hem yerel hem bulut modellerini bir arada kullanabiliyor. Uygulama; model Hub'ı, web arama ve sayfa getirme özelliği, görsel girişi, MCP entegrasyonları ve OpenAI uyumlu yerel API gibi ek yetenekler barındırıyor.

Test Ortamı ve Kurulum Deneyimi

StorageReview, incelemeyi HP Z4 Rack G5 iş istasyonu üzerinde gerçekleştirdi. Sistem, Intel Xeon w5-2465X işlemci, 128GB RAM ve 32GB VRAM'e sahip NVIDIA RTX 5000 Ada Generation ekran kartıyla donatılmıştı. İlginç bir detay: inceleme hazırlanırken Jan, v0.8.5 ve v0.8.6 sürümlerine güncellendi. Yeni sürümler llama.cpp'yi doğrudan uygulamaya gömüyor, GPU offload yapılandırmasını değiştiriyor, paralel dizilim varsayılanlarını ayarlıyor ve sohbet prompt önbellekleme özelliği ekliyor. Bu değişiklikler performansı doğrudan etkilediği için ekip, tüm testleri v0.8.6 ile yeniden koştu.

Kurulum tarafında Jan, standart bir .exe yükleyici kullanıyor ve ilk açılışta doğrudan sohbet arayüzüne yönlendiriyor. Yerel model kullanımı için hesap oluşturma zorunluluğu yok. Sistem zaten NVIDIA sürücülerine sahip olduğundan, Jan ek bir CUDA kurulumu gerektirmeden GPU hızlandırmayı otomatik olarak etkinleştirdi. Uygulama, donanım ayarları sayfasından Xeon işlemciyi, 127.65GB belleği ve 31.99GB VRAM'li RTX 5000 Ada'yı doğru şekilde tespit etti.

İlk açılışta Jan, önerilen yerel model olan Jan V3.5'i (2.8GB) indirmeyi teklif ediyor. İndirme işlemi uygulama içinde başlatılıp tamamlandığında bildirimle onaylanıyor ve model, sohbet ekranının üstündeki seçiciden kullanıma hazır hale geliyor. Jan'ın Hub özelliği, model keşfini ve kurulumunu uygulama dışına çıkmadan yönetmeyi mümkün kılıyor.

İnceleme, StorageReview'in yeni başlattığı "En İyi Yerel LLM Araçları" lider tablosunun ilk rehberi olma özelliği taşıyor. Ekip, bu listedeki platformları kendi test donanımlarında tekrarlanabilir performans sonuçlarıyla karşılaştırmaya devam edecek.

Kaynaklar: [1] StorageReview