새로운 arXiv 논문은 AI 에이전트가 과제를 수행할 때 따르는 재사용 가능한 지침, 즉 ‘기술(skill)’을 개선하는 방법인 SkillNEO를 소개한다. 연구진은 소프트웨어 엔지니어링과 사무 업무를 포함한 8개 분야의 SkillsBench 과제 86개에서 GPT-5.4 Mini의 평균 보상이 49.1%에서 66.4%로 올랐다고 밝혔다.
이 방법은 점수가 가장 높은 기술 버전만 남길 때 생기는 문제를 해결하려 한다. 점수가 낮은 버전에도 유용한 수정 사항이 들어 있을 수 있지만, 효과를 내려면 추가 편집이 필요할 수 있다. SkillNEO는 실제로 사용할 버전과 계속 개발할 버전을 따로 선택한다. 같은 과제에서 서로 관련된 버전들을 비교해 효과가 있었던 단계와 아직 고쳐야 할 실패 요인을 찾는다. 나중에 얻은 근거를 활용해 이전 버전으로 돌아가 수정할 수도 있다.
왜 점수가 낮은 버전도 남길까?
연구에서는 GPT-5.4 Mini가 과제를 수행하고, 수정안을 제안하고, 기술을 편집했다. 연구진은 기술을 발전시키는 데 사용한 것과 동일한 과제 사례로 최종 결과를 평가했으며, 새로운 과제를 대상으로 별도 시험을 했다고 설명하지는 않았다. 연구진은 8개 분야 모두에서 성능이 향상됐다고 밝혔다. 최종 점수는 원래 기술을 사용한 GPT-5.5와 GPT-5.6 Luna의 결과로 보고된 범위 안에 들었다.
연구진은 수정된 기술을 더 강력한 모델에도 적용해 봤으며, 이때 기술을 추가로 편집하지는 않았다. 수정된 기술을 사용한 과제 41개에서 Luna의 점수는 10.5%포인트 향상됐다. GPT-5.5는 원래 기술을 사용한 공개 기준 점수보다 10.6%포인트 높은 점수를 기록했다. 논문은 개발 과정에서 점수가 더 낮았던 버전 중 일부가 결국 실제 사용 버전으로 선택됐다고 밝혔다.
연구 결과가 보여주는 것과 보여주지 않는 것
이번 결과는 성능이 낮은 모델이 과제의 일부 요구 사항을 놓치더라도, 그 모델의 시도가 더 강력한 에이전트에 유용한 지침을 만들어낼 수 있음을 시사한다. 다만 평가는 특정 벤치마크 과제 86개를 대상으로 했고, 최종 평가에도 기술 개발에 사용된 과제 사례가 재사용됐다. 따라서 이 방법이 처음 보는 과제에서 얼마나 잘 작동하는지는 입증되지 않았다. 논문 요약에는 모델의 가격이나 이용 방법에 관한 정보도 없다.
왜 중요한가
과제 특화형 AI 에이전트를 개발하는 팀에는, 비용이 낮거나 성능이 약한 모델이 나중에 더 강력한 모델이 사용할 재사용 가능한 지침을 다듬는 데 도움을 줄 수 있다는 근거가 된다. 다만 보고된 성능 향상은 시험한 벤치마크 과제에 한정돼 있어, 새로운 과제에도 효과가 이어질지는 아직 알 수 없다.
