Jevstiller es un proyecto de código abierto que crea un pequeño modelo local para responder consultas rutinarias de Jev en tu propio equipo. El modelo aprende de las respuestas de Jev y solo envía al servicio en la nube de Jev las consultas sobre las que tiene dudas. Sus creadores afirman que puede responder consultas conocidas en unos 15 ms y evitar la tarifa de 42 dólares por cada mil millones de tokens. Sostienen que la herramienta coincide con las respuestas de Jev el 98 % de las veces y, por seguridad, mantiene el resto del tráfico en la nube.
El sistema compara continuamente con Jev una muestra fija del 2 % de las consultas para comprobar que se mantiene el nivel de coincidencia, y se vuelve a entrenar cuando ese nivel baja.
Por qué importa
Ejecutar Jev localmente puede reducir drásticamente los costos de uso de la IA y agilizar las respuestas a tareas habituales.
