Pesquisadores lançaram o guardscope, uma ferramenta que mede a eficácia dos controles em tempo de execução para monitorar as ações de agentes de LLM. Primeiro, o framework prevê quais dos 15 caminhos de ação possíveis de um agente podem ser observados por um controle; depois, executa uma carga de trabalho em uma de oito topologias de implantação para classificar cada ação como monitorada, desviada ou impedida. Os experimentos usaram dois sistemas de agentes, além do kit de ferramentas de governança da Microsoft e do agentgateway. O código e o framework estão disponíveis publicamente.
Por que importa
Empresas agora podem confirmar se seus controles de segurança realmente monitoram as ações que deveriam acompanhar.
