Jevstiller é um projeto de código aberto que cria um pequeno modelo local para responder a consultas rotineiras ao Jev no seu próprio hardware. O modelo local aprende com as respostas do Jev e encaminha ao serviço de nuvem do Jev apenas os pedidos sobre os quais tem dúvidas. Seus criadores afirmam que ele responde a consultas conhecidas em cerca de 15 ms e evita a tarifa de US$ 42 por bilhão de tokens. Segundo eles, a ferramenta reproduz as respostas do Jev em 98% dos casos, mantendo o restante do tráfego na nuvem por segurança.
O sistema verifica continuamente uma parcela fixa de 2% das solicitações com o Jev para monitorar a taxa de concordância e se retreina quando ela cai.
Por que importa
Executar o Jev localmente pode reduzir bastante os custos de uso de IA e acelerar as respostas para tarefas comuns.
