PORA, LLM 에이전트가 더 오래 추론할 시점 가린다

Qi Zhang이 이끄는 연구진이 LLM 에이전트의 추론을 더 오래 이어갈수록 결과가 좋아지는 시점을 학습하는 기법 PORA를 공개했다. 학습 과정에서 시스템은 같은 단계를 두 차례 실행한다. 한 번은 추론 길이를 짧게 제한하고, 다른 한 번은 더 길게 허용해 어느 쪽이 최종 결과가 더 나은지 확인한다. 실제 실행 단계에서는 제어기가 학습한 예측과 남은 연산 예산을 바탕으로 두 방식을 모두 실행하지 않고 비용이 적게 드는 쪽을 선택한다. 메모리, 코드, 소매, 수학 과제에서 진행한 테스트 결과, 메모리 벤치마크 점수는 최대 32.9% 높아졌고 수학 과제에서는 모델 호출 횟수가 최대 31% 줄었다.