연구진이 LLM 에이전트의 동작을 런타임 제어 장치가 얼마나 잘 감시하는지 측정하는 도구 guardscope를 공개했다. 이 프레임워크는 먼저 에이전트의 가능한 15개 동작 경로 중 제어 장치가 볼 수 있는 경로를 예측한 뒤, 8가지 배포 토폴로지 가운데 하나에서 작업 부하를 실행해 각 동작을 검사됨, 우회됨, 차단됨으로 분류한다. 실험에는 에이전트 하네스 2종과 Microsoft의 거버넌스 툴킷 및 agentgateway가 사용됐다. 코드와 프레임워크는 공개돼 있다.
왜 중요한가
기업은 이제 안전 제어 장치가 감시하려는 동작을 실제로 포착하는지 확인할 수 있다.