Yeni Triton Kernalı NF4 Dequantizasyonu 1.41 Katına Kaldırdı

Bir geliştirici, NF4 dequantizasyonu için bir Triton kernalı yayınladı. Performans testleri, bitsandbytes'e karşı 1.41 kat hız artışı gösteriyor.

Bir geliştirici, NF4 dequantizasyonu için bir Triton kernalı yayınladı. Performans testleri, bitsandbytes'e karşı 1.41 kat hız artışı gösteriyor. Kernal, yüksek performanslı makine öğrenimi yükümlülüklerine odaklanıyor. Açık kaynak ve GitHub'da mevcuttur. Kullanıcılar, mevcut.pipeline'leri entegre edebilir. İyileştirme, sorgulama gecikmesini azaltabilir. Topluluk geri bildirimleri, daha fazla optimize için teşvik ediliyor. Proje, verimli model dağıtımını ilerletmeyi amaçlıyor.