OossaAI는 빠르게 발전하고 있습니다. 저희가 쉽게 설명해 드립니다.

오픈소스 Jevstiller, Jev 쿼리를 로컬에서 처리

커뮤니티가 만든 이 도구는 익숙한 Jev 요청을 처리하는 소형 온디바이스 모델을 구축해 토큰 비용과 지연 시간을 줄인다.

짧은 소식Oossa1 분 읽기

Jevstiller는 자체 하드웨어에서 일상적인 Jev 쿼리에 답하는 소형 로컬 모델을 만드는 오픈소스 프로젝트다. 로컬 모델은 Jev의 응답을 학습하며, 확신이 없는 요청만 Jev의 클라우드 서비스로 전달한다. 개발자들은 이 모델이 익숙한 쿼리에 약 15ms 만에 답하고, 10억 토큰당 42달러의 요금을 피할 수 있다고 밝혔다. 또한 안전을 위해 나머지 트래픽은 클라우드에 남겨두면서 Jev의 답변과 98% 일치한다고 주장한다.

이 시스템은 일치율을 점검하기 위해 요청의 2%를 정해 Jev의 응답과 지속적으로 비교하고, 일치율이 떨어지면 자체적으로 재학습한다.

왜 중요한가

Jev를 로컬에서 실행하면 흔한 작업의 AI 사용 비용을 크게 낮추고 응답 속도를 높일 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.

출처 및 참고 자료

#출처매체날짜핵심 내용
1Open source tool distills Jev so you can run it locally ↗The Register2026. 9. 29.Jevstiller targets 98% agreement by learning familiar requests on your hardware while sending uncertain and audited queries upstream

1 개 출처

최종 업데이트: ·Markdown·llms.txt