Uber Engineering介绍了一套框架,用于判断AI代理拟执行的操作是否符合用户请求、代理用途、权限以及交互情境。Uber表示,常规的身份验证和API控制可以检查访问权限,却无法判断某项操作是否合适。
该框架涵盖三个阶段:部署前的注册和安全检查、运行时通过AI Guards和Agent Guard钩子进行检查,以及上线后利用执行轨迹和可重放的交互持续审查。Uber表示,明确设定针对特定代理的意图和约束,是最有效的控制措施,但配置起来需要投入精力,而且工作量会随着工作流数量增加。
为什么重要
对于开发AI代理的团队,Uber的做法提供了一种结合具体情境检查代理操作的方式,但为每个代理制定规则可能需要大量前期工作;这份介绍没有说明如何对供应商提供的代理强制执行这些规则。