# 오픈소스 Jevstiller, Jev 쿼리를 로컬에서 처리

> 커뮤니티가 만든 이 도구는 익숙한 Jev 요청을 처리하는 소형 온디바이스 모델을 구축해 토큰 비용과 지연 시간을 줄인다.

Oossa · 2026-09-29 · https://oossa.com/ko/open-source-jevstiller-lets-you-run-jev-queries-locally

Jevstiller는 자체 하드웨어에서 일상적인 Jev 쿼리에 답하는 소형 로컬 모델을 만드는 오픈소스 프로젝트다. 로컬 모델은 Jev의 응답을 학습하며, 확신이 없는 요청만 Jev의 클라우드 서비스로 전달한다. 개발자들은 이 모델이 익숙한 쿼리에 약 15ms 만에 답하고, 10억 토큰당 42달러의 요금을 피할 수 있다고 밝혔다. 또한 안전을 위해 나머지 트래픽은 클라우드에 남겨두면서 Jev의 답변과 98% 일치한다고 주장한다.

이 시스템은 일치율을 점검하기 위해 요청의 2%를 정해 Jev의 응답과 지속적으로 비교하고, 일치율이 떨어지면 자체적으로 재학습한다.

## 팩트

- Jev와의 목표 일치율: 98%
- 로컬 응답 지연 시간: 약 15ms

## 왜 중요한가

Jev를 로컬에서 실행하면 흔한 작업의 AI 사용 비용을 크게 낮추고 응답 속도를 높일 수 있다.

## 출처 및 참고 자료

1. [Open source tool distills Jev so you can run it locally](https://www.theregister.com/ai-and-ml/2026/09/29/open-source-tool-distills-jev-so-you-can-run-it-locally/5299856) – The Register, 2026-09-29

최종 업데이트: 2026-09-29