Uber Engineering описала систему, которая позволяет определить, соответствует ли предлагаемое ИИ-агентом действие запросу пользователя, назначению агента, его разрешениям и контексту взаимодействия. В Uber отмечают, что стандартные средства управления идентификацией и API могут проверять доступ, но не уместность действия.
Система охватывает три этапа: регистрацию и проверку безопасности до запуска, проверки во время работы с помощью AI Guards и хуков Agent Guard, а также постоянный анализ журналов выполнения и воспроизводимых взаимодействий. По словам Uber, наиболее эффективным средством контроля оказались явные ограничения и задачи, заданные для каждого агента отдельно, однако их настройка требует усилий, объём которых растёт с числом рабочих процессов.
Почему это важно
Командам, разрабатывающим ИИ-агентов, подход Uber предлагает способ проверять действия с учётом контекста. Однако настройка правил для каждого агента может потребовать значительных усилий, а в описании не объясняется, как применять их к агентам сторонних поставщиков.