Jevstiller är ett open source-projekt som bygger en liten lokal modell för att besvara rutinfrågor till Jev på din egen hårdvara. Modellen lär sig av Jevs svar och skickar bara osäkra frågor vidare till Jevs molntjänst. Skaparna uppger att den kan besvara välbekanta frågor på cirka 15 ms och undvika avgiften på 42 dollar per miljard token. De hävdar att verktyget ger samma svar som Jev i 98 procent av fallen, medan resten av trafiken skickas till molnet av säkerhetsskäl.
Systemet kontrollerar löpande ett fast urval på 2 procent av frågorna mot Jev för att hålla koll på överensstämmelsen och tränar om sig självt när den sjunker.
Varför det spelar roll
Att köra Jev lokalt kan sänka kostnaderna för AI-användning rejält och ge snabbare svar på vanliga uppgifter.
