Jevstiller, rutin Jev sorgularını kendi donanımınızda yanıtlamak üzere küçük bir yerel model oluşturan açık kaynaklı bir proje. Yerel model, Jev’in yanıtlarından öğreniyor ve yalnızca emin olmadığı istekleri Jev’in bulut hizmetine iletiyor. Geliştiricileri, aracın sık karşılaşılan sorguları yaklaşık 15 ms’de yanıtlayabildiğini ve milyar token başına 42 dolarlık ücreti önleyebildiğini söylüyor. Aracın yanıtlarının Jev’in yanıtlarıyla yüzde 98 oranında eşleştiğini, güvenlik için geri kalan isteklerin ise bulutta işlendiğini öne sürüyorlar.
Sistem, eşleşme oranını denetim altında tutmak için isteklerin sabit yüzde 2’sini sürekli olarak Jev’in yanıtlarıyla karşılaştırıyor ve oran düştüğünde kendini yeniden eğitiyor.
Neden önemli
Jev’i yerel olarak çalıştırmak, sık kullanılan görevlerde yapay zekâ maliyetlerini önemli ölçüde düşürüp yanıtları hızlandırabilir.
