# 로컬 학습 프로젝트에서 소형 오픈 모델이 빠르게 판단한다

> Reddit 사용자가 텍스트를 생성하지 않고 여러 선택지 중 하나를 고르고 확률을 반환하는 소형 오픈 가중치 모델을 공개했다. 사용자는 0.8B 모델의 판단 시간이 28밀리초, 2B 모델의 5개 벤치마크 테스트 점수가 83.1%라고 밝혔다.

Oossa · 2026-09-28 · https://oossa.com/ko/small-open-models-make-fast-decisions-in-local-training-project

Jeff라는 이름의 이 모델들은 분류와 기타 선택 작업을 위해 Qwen3.5와 Gemma를 미세 조정한 것이다. 상황과 선택지 목록을 입력하면 한 번의 처리로 각 선택지의 확률을 반환한다.

제작자는 로컬 하드웨어에서 모델을 학습했으며 Apache 2.0 라이선스로 가중치를 공개했다고 밝혔다. 5개 벤치마크 평가에서 2B 모델은 83.1%를 기록해 Jev가 공개한 83.0%에 근접했다. 테스트에 서로 다른 샘플을 사용했기 때문에 점수를 직접 비교할 수는 없다. 게시글에 따르면 Jeff는 여러 단계의 추론에서는 성능이 훨씬 떨어진다.

## 팩트

- 제작자에 따르면 RTX PRO 6000 GPU 한 대로 0.8B 모델은 약 2시간, 2B 모델은 약 3.5시간 만에 학습했다.
- 0.8B 모델은 M4 Max에서 약 28밀리초 만에 판단을 내렸다고 한다.

## 왜 중요한가

복잡한 추론보다 속도와 로컬 실행이 중요한 앱에서는 선택지를 빠르게 반환하는 소형 모델이 유용할 수 있다.

## 출처 및 참고 자료

1. [Trained locally: ultra-fast 0.8B/2B System 1 decision models that match Jev on benchmarks and Doom, ~30 ms per decision (open weights)](https://www.reddit.com/r/LocalLLaMA/comments/1wspn24/trained_locally_ultrafast_08b2b_system_1_decision/) – Reddit r/LocalLLaMA, 2026-09-28

최종 업데이트: 2026-09-28