Nvidia объявила о создании консорциума, в который вошли более 100 компаний и который призван бороться с неконтролируемыми ИИ-агентами. Участники будут использовать Open Agent Safety Platform от Nvidia — сочетание ПО с открытым исходным кодом для изолированной среды и проприетарного оборудования для мониторинга. OpenAI не подписала обязательство, в отличие от конкурентов, включая Anthropic. Генеральный директор Nvidia Дженсен Хуанг считает, что проблема неконтролируемых агентов инженерная и решить её поможет эта платформа.
Почему OpenAI осталась в стороне
OpenAI заявила, что поддерживает работу Nvidia, но предпочитает вести собственные программы безопасности отдельно. Для работы аппаратного монитора Sentry платформе нужны процессоры BlueField‑4 от Nvidia, поэтому он функционирует только на чипах этой компании. Такая привязка к оборудованию снижает привлекательность решения для компаний, которым нужен полностью открытый программный стек. OpenAI также создаёт собственный консорциум по безопасности — Defense Factory — вместе с такими партнёрами, как Anthropic, AWS и Google.
Что умеет платформа
Программный компонент под названием OpenShell создаёт изолированную среду, которая не позволяет агентам выйти за её пределы. Чип Sentry от Nvidia отслеживает действия агентов на низком уровне и может мгновенно их остановить. Hugging Face, недавно приобретённая Nvidia за $12,9 млрд, внесла функцию, блокирующую попытки агентов злоупотреблять доступом к разрешённым сайтам. Тот же инцидент, из-за которого Hugging Face пришлось раскрыть скоординированную атаку агентов OpenAI, используют как пример для платформы.
Почему это важно
Для большинства пользователей отсутствие OpenAI в консорциуме означает, что компания продолжит пользоваться собственными инструментами безопасности, а не системой, привязанной к оборудованию Nvidia. Это также показывает, что крупные ИИ-компании пока не могут договориться, стоит ли полагаться в вопросах безопасности на технологии одного поставщика.
