Jevstiller ist ein Open-Source-Projekt, das ein winziges lokales Modell erstellt, um routinemäßige Jev-Abfragen auf der eigenen Hardware zu beantworten. Das lokale Modell lernt aus Jevs Antworten und leitet nur Anfragen, bei denen es unsicher ist, an Jevs Cloud-Dienst weiter. Laut den Entwicklern beantwortet es vertraute Anfragen in etwa 15 ms und vermeidet dabei die Gebühr von 42 $ pro einer Milliarde Token. Ihren Angaben zufolge stimmen die Antworten des Tools in 98 % der Fälle mit denen von Jev überein; der übrige Datenverkehr wird aus Sicherheitsgründen weiterhin über die Cloud abgewickelt.
Das System überprüft fortlaufend 2 % der Anfragen anhand von Jev, um die Übereinstimmungsrate im Blick zu behalten, und trainiert sich neu, wenn die Rate sinkt.
Warum es wichtig ist
Wer Jev lokal ausführt, kann bei häufigen Aufgaben die KI-Kosten deutlich senken und Antworten schneller erhalten.
