28,9M Parametreli Dil Modeli 8 Dolarlık Mikrodenetleyicide Çalışıyor

Bir proje, 28,9 milyon parametreli bir dil modelini düşük maliyetli bir mikrodenetleyicide çalıştırarak kenar AI’nın mümkün olduğunu gösteriyor.

Bir proje, 28,9 M parametreli bir dil modelini düşük maliyetli bir mikrodenetleyicide çalıştırıyor. Donanım platformunun fiyatı yaklaşık 8 dolar. Bu gösterim, büyük dil modellerinin ucuz cihazlarda da çalışabileceğini kanıtlıyor. Çalışma, herkese açık bir GitHub deposunda barındırılıyor ve kenar AI dağıtımlarıyla ilgilenen geliştiricilere yönelik. Mikrodenetleyicide model çalıştırmak, geleneksel hesaplama sınırlarını zorlıyor. Sonuç, AI modellerinin küçük donanımlara daha da optimize edilmesi için ilham kaynağı olabilir. Gelecek çalışmalar, benzer cihazlarda ek uygulamaları araştırabilir.