Uber Engineering이 AI 에이전트가 제안한 행동이 사용자의 요청, 에이전트의 목적과 권한, 상호작용 맥락에 부합하는지 판단하는 프레임워크를 공개했다. Uber는 기존의 신원 확인 및 API 제어로 접근 권한은 점검할 수 있지만, 행동이 적절한지까지는 판단할 수 없다고 설명했다.
프레임워크는 세 단계로 구성된다. 배포 전 등록 및 보안 점검, AI Guards와 Agent Guard 훅을 통한 실행 중 점검, 실행 기록과 재생 가능한 상호작용을 활용한 지속적인 검토다. Uber는 에이전트별 의도와 제약 조건을 명시하는 것이 가장 효과적인 통제 수단이었다고 밝혔다. 다만 이를 설정하는 데는 상당한 작업이 필요하며, 워크플로가 늘어날수록 부담도 커진다.
왜 중요한가
AI 에이전트를 구축하는 팀은 Uber의 접근법을 통해 맥락에 맞춰 행동을 점검할 수 있다. 다만 에이전트별 규칙을 설정하는 데 상당한 작업이 필요할 수 있으며, Uber의 설명에는 이를 외부 공급업체의 에이전트에 어떻게 적용할 수 있는지가 나와 있지 않다.