Jevstiller는 자체 하드웨어에서 일상적인 Jev 쿼리에 답하는 소형 로컬 모델을 만드는 오픈소스 프로젝트다. 로컬 모델은 Jev의 응답을 학습하며, 확신이 없는 요청만 Jev의 클라우드 서비스로 전달한다. 개발자들은 이 모델이 익숙한 쿼리에 약 15ms 만에 답하고, 10억 토큰당 42달러의 요금을 피할 수 있다고 밝혔다. 또한 안전을 위해 나머지 트래픽은 클라우드에 남겨두면서 Jev의 답변과 98% 일치한다고 주장한다.
이 시스템은 일치율을 점검하기 위해 요청의 2%를 정해 Jev의 응답과 지속적으로 비교하고, 일치율이 떨어지면 자체적으로 재학습한다.
왜 중요한가
Jev를 로컬에서 실행하면 흔한 작업의 AI 사용 비용을 크게 낮추고 응답 속도를 높일 수 있다.