Laguna XS 2.1 33B, RTX 3090'da 296 Token/saniye, 256K Kontekstle 152 Token/saniye

Laguna XS 2.1 modeli, 33 milyar parametreye sahip ve RTX 3090 GPU'da benchmarklendi. Peak performans, 296 token/saniye olarak kaydedildi. 256K token kontekstle ise 152 token/saniye olarak kaydedildi.

Laguna XS 2.1 modeli, 33 milyar parametreye sahip ve RTX 3090 GPU'da benchmarklendi. Peak performans, 296 token/saniye olarak kaydedildi. 256K token kontekstle ise 152 token/saniye olarak kaydedildi. Bu testler, Lucebox blogunda belirlendi. Sonuçlar, büyük dil modellerinin gerçekçi inference hızlarını değerlendirmek için kullanılabilir. RTX 3090, yeni GPU'lar karşında hala popüler bir seçim olarak kalıyor.