Jevstiller is een open-sourceproject dat een klein lokaal model bouwt om veelvoorkomende Jev-queries op je eigen hardware te beantwoorden. Het lokale model leert van Jevs antwoorden en stuurt alleen verzoeken waarover het twijfelt door naar de clouddienst van Jev. Volgens de makers kan het bekende queries in ongeveer 15 ms beantwoorden en de kosten van $42 per miljard tokens vermijden. Ze stellen dat de tool in 98% van de gevallen hetzelfde antwoord geeft als Jev, terwijl het overige verkeer voor de veiligheid in de cloud blijft.
Het systeem controleert voortdurend een vast aandeel van 2% van de verzoeken aan de hand van Jev om het overeenkomstpercentage op peil te houden. Daalt dat percentage, dan traint het zichzelf opnieuw.
Waarom het ertoe doet
Door Jev lokaal te draaien, kunnen de kosten voor AI-gebruik flink omlaag en reacties op veelvoorkomende taken sneller worden.
