guardscope、LLMエージェントの制御範囲を検証する新フレームワーク

研究者らは、実行時制御がLLMエージェントのアクションをどの程度監視できているかを測定するツール「guardscope」を公開した。このフレームワークはまず、エージェントが取り得る15のアクション経路のうち、制御が検知できる経路を予測する。次に、8種類のデプロイ構成のいずれかでワークロードを実行し、各アクションを「検査済み」「回避された」「阻止された」に分類する。実験では2種類のエージェントハーネスと、Microsoftのガバナンスツールキットおよびagentgatewayを使用した。コードとフレームワークは公開されている。