Google Research가 테스트 시점에 AI 에이전트의 하네스를 바꾸는 오픈소스 프레임워크 Harness2를 공개했다. 하네스는 모델이 작업을 수행하도록 돕는 주변 구성을 가리킨다. 다만 원문은 Harness2가 구체적으로 어떤 부분을 어떻게 다시 작성하는지 설명하지 않는다.
MarkTechPost에 따르면 한 차례 개선 단계를 거친 뒤 GLM-5의 WorkBuddy-Bench 점수가 11.5포인트 올랐으며, 모델 가중치는 업데이트되지 않았다. 이는 보고된 성능 향상이 기반 모델을 재훈련한 결과가 아니라 에이전트 구성 변경에서 비롯됐음을 시사한다. 기사에는 시작 점수와 테스트 구성, 벤치마크를 수행한 주체가 제시되지 않아 공개된 정보만으로는 결과를 독립적으로 평가하기 어렵다.
이번 공개가 개발자에게 의미하는 것
Harness2는 Apache-2.0 라이선스로 공개됐다. 이 라이선스는 조건에 따라 개발자가 소프트웨어를 사용하고 수정하며 공유할 수 있도록 하므로, 연구팀과 개발자들은 설명에만 의존하지 않고 프레임워크를 직접 살펴볼 수 있다.
이번 발표에서 다룬 범위는 모델 하나, 벤치마크 하나, 개선 단계 한 차례에 한정된다. 다른 모델이나 작업에서도 같은 성능 향상이 나타나는지, 이 방법에 어느 정도의 컴퓨팅 자원이 필요한지, 프레임워크를 일상적인 용도로 사용할 준비가 됐는지는 밝히지 않았다. 개발자들이 Harness2가 자신의 에이전트 성능을 높일지 판단하려면 이런 정보가 필요하다.
왜 중요한가
AI 개발자는 Apache-2.0 라이선스에 따라 Harness2를 살펴보고 수정할 수 있다. 보고된 결과는 모델을 재훈련하지 않아도 에이전트 구성이 벤치마크 점수에 영향을 줄 수 있음을 시사한다. 그러나 원문에는 테스트 세부 정보가 없고 다른 모델이나 작업에서도 성능 향상이 나타난다는 근거도 제시되지 않아, 실제 활용 가치는 아직 불확실하다.
