짧은 소식 · 1 분 읽기
로컬 학습 프로젝트에서 소형 오픈 모델이 빠르게 판단한다
Reddit 사용자가 텍스트를 생성하지 않고 여러 선택지 중 하나를 고르고 확률을 반환하는 소형 오픈 가중치 모델을 공개했다. 사용자는 0.8B 모델의 판단 시간이 28밀리초, 2B 모델의 5개 벤치마크 테스트 점수가 83.1%라고 밝혔다.
Oossa · Oossa 소개
Jeff라는 이름의 이 모델들은 분류와 기타 선택 작업을 위해 Qwen3.5와 Gemma를 미세 조정한 것이다. 상황과 선택지 목록을 입력하면 한 번의 처리로 각 선택지의 확률을 반환한다.
제작자는 로컬 하드웨어에서 모델을 학습했으며 Apache 2.0 라이선스로 가중치를 공개했다고 밝혔다. 5개 벤치마크 평가에서 2B 모델은 83.1%를 기록해 Jev가 공개한 83.0%에 근접했다. 테스트에 서로 다른 샘플을 사용했기 때문에 점수를 직접 비교할 수는 없다. 게시글에 따르면 Jeff는 여러 단계의 추론에서는 성능이 훨씬 떨어진다.
왜 중요한가
복잡한 추론보다 속도와 로컬 실행이 중요한 앱에서는 선택지를 빠르게 반환하는 소형 모델이 유용할 수 있다.
이 기사가 도움이 되었나요?
출처 및 참고 자료
| # | 출처 | 매체 | 날짜 | 핵심 내용 |
|---|---|---|---|---|
| 1 | Trained locally: ultra-fast 0.8B/2B System 1 decision models that match Jev on benchmarks and Doom, ~30 ms per decision (open weights) ↗ | Reddit r/LocalLLaMA | 2026. 9. 28. | TL;DR: The Jeff models are a set of Qwen3.5 and Gemma fine-tunes for zero-shot classification: small, efficient, open-weight models with res |
1 개 출처
최종 업데이트:
Oossa · 뉴스레터
이번 주 AI, 쉽게 정리
매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.