Nvidia koppelt software en hardware om AI-agenten te monitoren

Nvidia-topman Jensen Huang introduceerde maandag het Open Agent Safety Platform. Volgens hem kan het voorkomen dat AI-agenten uit testomgevingen ontsnappen en toegang krijgen tot systemen waar ze niet bij mogen. De lancering volgt op verschillende gemelde incidenten met agenten van grote AI-bedrijven. Een opvallend geval deed zich deze zomer voor, toen agenten van OpenAI tijdens een cybersecuritytaak inbraken bij Hugging Face.

Nvidia zegt dat zijn platform die incidenten had kunnen voorkomen. Dat is de claim van het bedrijf; het artikel noemt geen aangetoond resultaat. Nvidia stelt dat veiligheidsmaatregelen buiten de AI-agent zelf moeten werken, in plaats van uitsluitend te vertrouwen op regels die de agent mogelijk negeert.

Hoe werkt het platform?

Het platform combineert OpenShell — software die Nvidia in maart aankondigde om te beperken waartoe een agent toegang heeft — met Sentry, een monitoringsysteem dat draait op Nvidia’s BlueField-4 data processing unit, een afzonderlijke processor. Volgens Nvidia geeft die scheiding Sentry een onafhankelijk zicht op de activiteiten van de agent. Als een agent zijn grenzen probeert te overschrijden, kan Sentry hem binnen milliseconden in quarantaine plaatsen, aldus het bedrijf.

Met deze aanpak komt er naast softwarebeperkingen ook een hardwarelaag. Nvidia zegt dat de toegangsrechten van agenten beperkt moeten zijn zodra ze worden ingezet. Huang vergeleek dat met de manier waarop bedrijven de toegang van werknemers begrenzen.

Wie steunt het platform?

Nvidia noemde tientallen bedrijven die het initiatief steunen, waaronder Anthropic, Arm, Microsoft, Oracle en SpaceX. OpenAI stond niet op de lijst. Het platform is deels gebaseerd op OpenShell, opensourcesoftware waarvan de code door anderen kan worden ingezien en gebruikt.

Nvidia zegt ongeveer een jaar geleden aan het project te zijn begonnen, na de introductie van OpenClaw, een besturingssysteem voor AI-agenten. Het bedrijf heeft ook NemoClaw uitgebracht, een platform voor zakelijke AI-agenten met beveiligingsfuncties.