Jevstiller est un projet open source qui crée un petit modèle local pour répondre aux requêtes Jev courantes directement sur votre matériel. Le modèle local apprend à partir des réponses de Jev et ne transmet au service cloud de Jev que les requêtes dont il n’est pas sûr. Ses créateurs affirment qu’il peut répondre aux requêtes familières en environ 15 ms et éviter les frais de 42 $ par milliard de jetons. Selon eux, l’outil reproduit les réponses de Jev dans 98 % des cas, tandis que le reste du trafic est acheminé vers le cloud par mesure de sécurité.
Le système vérifie en continu un échantillon fixe de 2 % des requêtes en les comparant à Jev, afin de contrôler le taux de concordance, et se réentraîne lorsque ce taux baisse.
Pourquoi c'est important
Exécuter Jev en local peut réduire considérablement les coûts d’utilisation de l’IA et accélérer les réponses aux tâches courantes.
