Araç, 16 GB GGUF modelini 1.8 GB’a veri kaybı olmadan sıkıştırıyor
Açık kaynak bir depo, büyük GGUF model dosyalarını küçültme yöntemi sunuyor; 16 GB dosya 1.8 GB’a indiriliyor ve orijinal veri kaybı yaşanmıyor.
Yeni bir açık kaynak deposu, büyük GGUF biçimindeki kuantize model dosyalarını küçültme yöntemi sunuyor. Depoyu hazırlayan geliştirici, 16 GB boyutundaki bir GGUF dosyasını 1.8 GB’a kadar sıkıştırabildiğini gösteriyor ve bu işlemin orijinal kuantizasyon verisini kaybetmeden gerçekleştiğini belirtiyor. GGUF, büyük dil modellerinin kuantize edilmiş hâllerini saklamak için kullanılan bir format. Dosya boyutunun küçülmesi, geliştiriciler için dağıtım ve depolamayı kolaylaştırıyor. Araç, dosyanın iç yapısını yeniden düzenleyerek yeniden paketleme yapıyor. Kullanıcılar, standart Python bağımlılıklarıyla yerel bir makinede scripti çalıştırabiliyor. Depoda kullanım talimatları ve örnek komutlar da yer alıyor; yazar topluluktan geri bildirim isteyerek sıkıştırma ve uyumluluğun geliştirilmesini hedefliyor.