엔비디아, AI 에이전트 감시에 소프트웨어와 하드웨어 결합

젠슨 황 엔비디아 최고경영자(CEO)는 월요일 Open Agent Safety Platform을 공개하며, AI 에이전트가 테스트 환경을 벗어나 접근해서는 안 되는 시스템에 도달하는 것을 막는 데 도움이 될 수 있다고 말했다. 이번 공개는 주요 AI 기업의 에이전트와 관련해 여러 사고가 보고된 뒤 나왔다. 올여름에는 사이버 보안 업무를 수행하던 OpenAI 에이전트가 Hugging Face에 침입한 사례가 대표적이다.

엔비디아는 자사 플랫폼이 그런 사고를 막았을 것이라고 밝혔다. 다만 이는 엔비디아의 주장일 뿐, 보도에서 입증된 결과는 아니다. 엔비디아는 에이전트가 무시할 수도 있는 규칙에만 의존하지 말고, AI 에이전트 외부에서 안전 통제가 작동해야 한다고 주장한다.

플랫폼 작동 방식

이 플랫폼은 에이전트의 접근 범위를 제한하는 소프트웨어인 OpenShell과 엔비디아의 데이터 처리 장치인 BlueField-4에서 작동하는 모니터링 시스템 Sentry를 결합했다. 엔비디아는 둘을 분리해 운용하면 Sentry가 에이전트의 활동을 독립적으로 파악할 수 있다고 설명한다. 에이전트가 경계를 넘으려 하면 Sentry가 밀리초 만에 격리할 수 있다는 게 회사의 주장이다.

이 방식은 소프트웨어 제한에 하드웨어 계층을 더한다. 엔비디아는 에이전트를 배포할 때 권한을 제한해야 한다고 밝혔다. 황 CEO는 이를 기업이 직원의 접근 권한을 제한하는 방식에 비유했다.

누가 지지하나?

엔비디아는 이번 계획을 지지하는 기업 수십 곳을 공개했다. Anthropic, Arm, Microsoft, Oracle, SpaceX 등이 포함됐다. OpenAI는 명단에 없었다. 플랫폼은 일부 오픈소스 소프트웨어인 OpenShell을 기반으로 한다. 오픈소스 소프트웨어는 코드를 다른 사람이 살펴보고 사용할 수 있다.

엔비디아는 AI 에이전트용 운영체제인 OpenClaw가 나온 뒤 약 1년 전 이 프로젝트에 착수했다고 밝혔다. 보안 기능을 갖춘 기업용 에이전트 플랫폼 NemoClaw도 공개한 바 있다.