연구진이 Vanguard를 공개했다. 웹·휴대전화·스마트홈 에이전트가 사용하기 전에 소형 AI 모델이 제안한 행동을 검증하는 시스템이다. 제안된 단계와 스크린샷을 살펴본 뒤 초안을 그대로 쓰거나, 더 큰 모델에 대체안을 작성하도록 요청한다.
연구진의 테스트에서 Vanguard의 검증을 거친 20억 개 매개변수 모델의 초안은 80억 개 매개변수 규모의 대상 모델과 정확도가 최소한 같았고, 명시된 벤치마크 두 곳에서는 더 정확했다. 전체 단계 가운데 더 큰 모델이 작성한 것은 일부에 그쳤다.
왜 중요한가
웹이나 휴대전화 에이전트를 만드는 팀은 테스트한 작업에서 정확도를 유지하면서 더 큰 모델을 호출하는 횟수를 줄일 수 있다. 실제 제품에서도 같은 결과가 나올지는 아직 알 수 없다.