연구진이 교사 모델의 단계별 추론 기록을 재사용 가능한 프로그램으로 바꾸는 PLVR 기법을 공개했다. 이 프로그램은 동결된 소형 언어 모델과 함께 작동하며, 80억 매개변수 모델에서도 모델의 동작을 안내한다. 통신 테스트 세트에서 8B Granite‑4.2 모델은 PLVR을 적용했을 때 정확도가 43%에서 91.2%로 상승했다.
PLVR의 작동 방식
먼저 교사 모델 Kimi‑K3가 도구 사용 문제를 풀면서 추론 기록을 남긴다. PLVR은 이 기록을 군집화해 반복되는 작업을 찾아낸다. 각 작업에 대해 ‘프런티어’ 모델이 소형 동결 모델이 실행할 수 있는 짧은 타입 지정 프리미티브를 작성한다. 그런 다음 시스템은 A* 탐색을 이용해 프리미티브를 연결하고, 최종적으로 올바른 동작을 내놓도록 최적화한다. 추론 단계에서 프로그램은 학생 모델이 따를 사고 연쇄를 제공하거나, 제안된 도구 동작을 외부로 보내기 전에 하나씩 검토하고 수정한다.
분야별 결과
동일한 PLVR 프로그램을 Nemotron 기반 모델 3종과 Granite‑4.2‑8B에 적용해 통신, 소매, LiveMCPBench(절차형 도구 사용 평가 모음) 등 3개 벤치마크에서 테스트했다. 통신 분야에서는 Nemotron 모델 3종 모두 정확도 93.3~94.4%를 기록했고, PLVR을 적용한 8B 모델은 91.2%로 몇 퍼센트포인트 차이에 그쳤다. 소매와 LiveMCPBench에서도 PLVR 프로그램은 공개된 최고 기준선들과 경쟁력 있는 성능을 보였지만, 후자에서는 3~13포인트 뒤처졌다. 또한 이 기법은 기반 모델 간 성능 편차를 평균 약 7포인트에서 약 2포인트로 줄였다.
왜 중요한가
도구 사용 보조 모델을 만드는 개발자에게 PLVR은 비교적 저렴한 8B 모델도 명시적인 프로그램의 안내를 받으면 훨씬 큰 모델에 근접한 성능을 낼 수 있음을 보여준다. 컴퓨팅 비용을 낮추고 이런 보조 모델의 접근성을 높일 수 있지만, 이 접근법은 여전히 품질 높은 교사 모델의 추론 기록에 의존하며 분야별 성능이 달라질 수 있다.
