Исследователи представили guardscope — инструмент для оценки того, насколько хорошо средства контроля во время работы отслеживают действия LLM-агентов. Сначала фреймворк прогнозирует, какие из 15 возможных путей действий агента доступны для наблюдения конкретному средству контроля, а затем запускает тестовую нагрузку в одной из восьми топологий развертывания и помечает каждое действие как проверенное, обошедшее контроль или предотвращённое. В экспериментах использовали две среды для запуска агентов, а также инструментарий Microsoft для управления агентами и agentgateway. Код и фреймворк доступны всем.
Почему это важно
Теперь компании могут убедиться, что средства защиты действительно отслеживают именно те действия, за которыми должны наблюдать.
