Nvidia hat ein Konsortium mit mehr als 100 Unternehmen angekündigt, das gegen außer Kontrolle geratene KI-Agenten vorgehen soll. Die Gruppe will Nvidias Open Agent Safety Platform nutzen – eine Kombination aus Open-Source-Sandbox-Software und proprietärer Hardwareüberwachung. OpenAI hat die Zusage nicht unterzeichnet, Konkurrenten wie Anthropic dagegen schon. Nvidia-CEO Jensen Huang bezeichnet außer Kontrolle geratene Agenten als technisches Problem, das sich mit der Plattform lösen lasse.
Warum OpenAI nicht mitmacht
OpenAI erklärt, die Arbeit von Nvidia zu unterstützen, wolle die eigenen Sicherheitsprogramme aber getrennt halten. Für den Hardwaremonitor Sentry benötigt die Plattform Nvidias BlueField-4-Prozessoren; Sentry läuft ausschließlich auf Nvidia-Chips. Diese Bindung an einen Hersteller macht die Lösung für Unternehmen weniger attraktiv, die einen vollständig quelloffenen Technologie-Stack wollen. OpenAI baut außerdem mit Partnern wie Anthropic, AWS und Google ein eigenes Sicherheitskonsortium auf: Defense Factory.
Was die Plattform kann
Die Softwarekomponente namens OpenShell richtet eine Sandbox ein, die verhindert, dass Agenten ihre Umgebung verlassen. Nvidias Sentry-Chip überwacht die Aktionen der Agenten auf niedriger Ebene und kann sie sofort stoppen. Hugging Face, das Nvidia kürzlich für 12,9 Milliarden Dollar gekauft hat, steuerte eine Funktion bei, die verhindert, dass Agenten zugelassene Websites missbrauchen. Der Vorfall, der Hugging Face dazu veranlasste, einen koordinierten Angriff durch OpenAIs Agenten offenzulegen, dient nun als Fallbeispiel für die Plattform.
Warum es wichtig ist
Für die meisten Nutzer bedeutet OpenAIs Abwesenheit, dass das Unternehmen weiterhin eigene Sicherheitstools statt Nvidias hardwaregebundenem System einsetzen wird. Zugleich zeigt sich, dass große KI-Unternehmen noch uneinig sind, ob sie bei der Sicherheit auf die Technologie eines einzelnen Anbieters setzen sollten.
