Ryotaro Shimizu가 이끄는 연구팀은 AI 에이전트가 사용자를 대신해 상품을 자동으로 구매할 때 어느 정도까지 진행해야 하는지를 측정하는 새로운 벤치마크를 발표했다. 연구팀은 지시사항 미세조정 모델 16개를 시험했고, 상품에 대한 근거가 약한데도 확인을 거치지 않고 구매하는 경우가 많다는 사실을 발견했다. 반면 개인이 직접 표시한 사례 수십 건만으로 학습한 얕은 학습 모델은 30~40개의 사례를 이용해 개인별 자동 구매 한도를 중앙값 0.79의 정확도로 예측했다. 학습한 한도는 상품 분야가 달라지면 잘 적용되지 않았다.
왜 중요한가
개인별 통제가 강화되지 않은 채 AI 에이전트가 사용되면 소비자는 원치 않는 자동 구매를 겪을 수 있다.