Show HN: KV‑psi, Linux PSI ile Büyük Dil Modeli KV Önbelleğini Optimize Ediyor
KV‑psi, Linux Pressure Stall Information (PSI) teknolojisini kullanarak büyük dil modellerinin anahtar‑değer önbelleğini dinamik olarak küçültür ve bellek verimliliğini artırır.
KV‑psi, Hacker News'te duyurulan açık kaynak bir projedir. Linux Pressure Stall Information (PSI) teknolojisini kullanarak bellek baskısını izler. Araç, büyük dil modellerinin anahtar‑değer önbelleğini dinamik olarak küçülterek bellek verimliliğini artırmayı amaçlar. Önbellek boyutunun azaltılması, toplam bellek tüketimini düşürürken performans kaybını minimum seviyede tutar. Kod tabanı GitHub'da topluluk erişimine açıktır ve kullanıcılar KV‑psi'yi mevcut LLM çıkarım hatlarına entegre edebilir. Proje, yapılandırma ve kullanım kılavuzlarıyla birlikte gelir. Erken test sonuçları, büyük performans kaybı olmadan daha düşük bellek tüketimi sağladığını göstermektedir.