Kullanıcıların LLM modellerini maliyet-bilinçli olarak yönlendirmesine yardımcı olan bir LLM gateway
Foreman, GitHub'da barındırılan açık kaynaklı bir proje. Büyük dil modelleri (LLM) API'leri için bir self-hosted gateway sağlar.
Foreman, büyük dil modelleri (LLM) API'leri için bir self-hosted gateway sunan açık kaynaklı bir projedir. Bu gateway, maliyet kriterlerine göre farklı modellere istek gönderme yeteneğine sahiptir. Kullanıcılar, daha ucuz veya daha yüksek performanslı modelleri önceliklendirmek için politikalar ayarlayabilir. Proje, birden fazla LLM sağlayıcısı kullanırken giderleri yönetmek için geliştiricilere yardımcı olmak amacıyla oluşturulmuştur. Dokümantasyon ve kaynak kodu depolama repository'sında mevcuttur. Foreman, Northwood Systems tarafından yönetilmektedir. Bu, maliyet-bilinçli LLM dağıtımına flexible bir çözüm sunar.