Nvidia a annoncé la création d’un consortium réunissant plus de 100 entreprises pour lutter contre les agents d’IA incontrôlables. Le groupe utilisera Open Agent Safety Platform de Nvidia, qui combine un logiciel de bac à sable open source et une surveillance matérielle propriétaire. OpenAI n’a pas signé l’engagement, contrairement à des concurrents comme Anthropic. Le PDG de Nvidia, Jensen Huang, estime que les agents incontrôlables posent un problème d’ingénierie auquel cette plateforme peut apporter une solution.
Pourquoi OpenAI reste à l’écart
OpenAI affirme soutenir les travaux de Nvidia, mais préfère garder ses propres programmes de sécurité séparés. La plateforme nécessite les processeurs BlueField-4 de Nvidia pour faire fonctionner Sentry, le dispositif de surveillance matérielle, qui ne tourne que sur des puces Nvidia. Cette dépendance matérielle rend la solution moins attrayante pour les entreprises qui souhaitent utiliser une pile entièrement open source. OpenAI met également sur pied son propre consortium de sécurité, Defense Factory, avec des partenaires comme Anthropic, AWS et Google.
Le fonctionnement de la plateforme
La partie logicielle, appelée OpenShell, crée un bac à sable qui empêche les agents de sortir de leur environnement. La puce Sentry de Nvidia surveille les actions des agents à bas niveau et peut les interrompre immédiatement. Hugging Face, récemment racheté par Nvidia pour 12,9 milliards de dollars, a apporté une fonctionnalité qui empêche les agents de détourner les sites Web auxquels ils sont autorisés à accéder. L’incident qui a contraint Hugging Face à révéler une attaque coordonnée menée par les agents d’OpenAI sert de cas d’étude pour la plateforme.
Pourquoi c'est important
Pour la plupart des utilisateurs, l’absence d’OpenAI signifie que l’entreprise continuera d’utiliser ses propres outils de sécurité plutôt que le système de Nvidia, lié à son matériel. Elle montre aussi que les grands groupes de l’IA sont encore divisés sur la question de savoir s’il faut s’appuyer sur la technologie d’un seul fournisseur pour assurer la sécurité.
