Oossa

Uber описала систему защиты ИИ-агентов

Система Uber проверяет агентов до запуска, во время работы и после выпуска, оценивая предлагаемые ими действия с учётом контекста.

ЗаметкаАвтор: Опубликовано Oossa: 1 мин чтения

Uber Engineering описала систему, которая позволяет определить, соответствует ли предлагаемое ИИ-агентом действие запросу пользователя, назначению агента, его разрешениям и контексту взаимодействия. В Uber отмечают, что стандартные средства управления идентификацией и API могут проверять доступ, но не уместность действия.

Система охватывает три этапа: регистрацию и проверку безопасности до запуска, проверки во время работы с помощью AI Guards и хуков Agent Guard, а также постоянный анализ журналов выполнения и воспроизводимых взаимодействий. По словам Uber, наиболее эффективным средством контроля оказались явные ограничения и задачи, заданные для каждого агента отдельно, однако их настройка требует усилий, объём которых растёт с числом рабочих процессов.

Почему это важно

Командам, разрабатывающим ИИ-агентов, подход Uber предлагает способ проверять действия с учётом контекста. Однако настройка правил для каждого агента может потребовать значительных усилий, а в описании не объясняется, как применять их к агентам сторонних поставщиков.

Эта статья была полезной?
Поделиться

Читайте также

Oossa · Рассылка

Неделя ИИ — простыми словами

Каждый понедельник: главное за неделю понятным языком. Бесплатно, без спама.