K3 modeli 80 Nvidia RTX 5090 GPU’da saniyede 20 token üretiyor

Bir Twitter kullanıcısı, 80 adet RTX 5090 kartı içeren bir GPU kümesinde K3 modelini çalıştırdığını ve saniyede 20 token hızına ulaştığını paylaştı.

Bir Twitter kullanıcısı, K3 modelini büyük bir GPU kümesinde çalıştırdığını duyurdu. Kurulum, seksen adet Nvidia RTX 5090 grafik kartından oluşuyor. Bu yapı, saniyede yirmi token işleme hızı sağlıyor. Performans ölçütü, K3’ün ölçeklenebilirliği hakkında bilgi veriyor. Gönderi, bu tür çalışmalarda gereken yüksek donanım yoğunluğunu vurguluyor. Benzer modelleri test edenler için bir referans noktası sunuyor ve topluluk bu verileri karşılaştırma ölçütü olarak kullanabilir.