# 전문가 프로그램 결합한 소형 8B 모델, 대형 모델 수준 성능

> PLVR이라는 새 기법을 활용하면 80억 매개변수 모델이 통신 도구 사용 과제에서 정확도 90%를 넘어 대형 모델과의 격차를 좁힐 수 있다.

Oossa · 2026-10-16 · https://oossa.com/ko/small-8b-model-matches-larger-rivals-when-paired-with-expert-program

연구진이 교사 모델의 단계별 추론 기록을 재사용 가능한 프로그램으로 바꾸는 PLVR 기법을 공개했다. 이 프로그램은 동결된 소형 언어 모델과 함께 작동하며, 80억 매개변수 모델에서도 모델의 동작을 안내한다. 통신 테스트 세트에서 8B Granite‑4.2 모델은 PLVR을 적용했을 때 정확도가 43%에서 91.2%로 상승했다.

## PLVR의 작동 방식

먼저 교사 모델 Kimi‑K3가 도구 사용 문제를 풀면서 추론 기록을 남긴다. PLVR은 이 기록을 군집화해 반복되는 작업을 찾아낸다. 각 작업에 대해 ‘프런티어’ 모델이 소형 동결 모델이 실행할 수 있는 짧은 타입 지정 프리미티브를 작성한다. 그런 다음 시스템은 A* 탐색을 이용해 프리미티브를 연결하고, 최종적으로 올바른 동작을 내놓도록 최적화한다. 추론 단계에서 프로그램은 학생 모델이 따를 사고 연쇄를 제공하거나, 제안된 도구 동작을 외부로 보내기 전에 하나씩 검토하고 수정한다.

## 분야별 결과

동일한 PLVR 프로그램을 Nemotron 기반 모델 3종과 Granite‑4.2‑8B에 적용해 통신, 소매, LiveMCPBench(절차형 도구 사용 평가 모음) 등 3개 벤치마크에서 테스트했다. 통신 분야에서는 Nemotron 모델 3종 모두 정확도 93.3~94.4%를 기록했고, PLVR을 적용한 8B 모델은 91.2%로 몇 퍼센트포인트 차이에 그쳤다. 소매와 LiveMCPBench에서도 PLVR 프로그램은 공개된 최고 기준선들과 경쟁력 있는 성능을 보였지만, 후자에서는 3~13포인트 뒤처졌다. 또한 이 기법은 기반 모델 간 성능 편차를 평균 약 7포인트에서 약 2포인트로 줄였다.

## 팩트

- 논문은 2026-10-13 arXiv에 게시됐다.
- 통신 벤치마크에서 Granite-4.2-8B에 PLVR을 적용하면 정확도가 43.0%에서 91.2%로 오른다.
- 같은 통신 테스트에서 Nemotron 학생 모델 3종은 모두 정확도 93.3~94.4%를 달성한다.
- 같은 추론 기록을 활용한 기준 미세 조정이나 프롬프트 최적화의 정확도는 최고 58.2%에 그친다.
- 세 가지 테스트 스위트에서 기반 모델 간 성능 격차는 약 7포인트에서 약 2포인트로 줄어든다.

## 왜 중요한가

도구 사용 보조 모델을 만드는 개발자에게 PLVR은 비교적 저렴한 8B 모델도 명시적인 프로그램의 안내를 받으면 훨씬 큰 모델에 근접한 성능을 낼 수 있음을 보여준다. 컴퓨팅 비용을 낮추고 이런 보조 모델의 접근성을 높일 수 있지만, 이 접근법은 여전히 품질 높은 교사 모델의 추론 기록에 의존하며 분야별 성능이 달라질 수 있다.

## 출처 및 참고 자료

1. [Compiling Expert Procedures into Verified Programs: When a Small Model Is Enough](https://arxiv.org/abs/2610.19148) – arXiv, 2026-10-15

최종 업데이트: 2026-10-16