Oossa

OpenAI ouvre ses systèmes d’IA à quatre auditeurs externes

Apollo Research, METR, Goodfire et Transluce ont accès aux modèles non commercialisés et aux données d’OpenAI : une première évaluation de sécurité sur site.

Par Publié par Oossa: 1 min de lecture

Christina @ wocintechchat.com M · Unsplash

OpenAI a annoncé que quatre groupes indépendants travailleraient dans ses bureaux pour auditer ses systèmes d’IA. Les auditeurs – Apollo Research, METR, Goodfire et Transluce – auront accès au code source, aux données d’entraînement, aux outils de surveillance et aux modèles non commercialisés. Ils pourront aussi s’entretenir en toute confidentialité avec les développeurs. Selon OpenAI, ce projet pilote fait suite aux engagements pris dans le cadre de l’« Accord sur la superintelligence » de la Maison-Blanche.

Apollo cherchera à déterminer si les modèles tentent de contourner leur propre alignement ou celui de versions futures. METR traquera les comportements dangereux que les propres tests d’OpenAI pourraient ne pas détecter et évaluera aussi la capacité d’OpenAI à repérer de tels comportements. Goodfire s’appuiera sur sa plateforme d’interprétabilité pour cartographier les processus internes des modèles et proposer des correctifs. Transluce évaluera les contrôles de sécurité effectués après l’entraînement et prévoit un examen de suivi de huit semaines au début de 2027. Un conseil indépendant de sécurité recevra les rapports complets, non expurgés, et arbitrera les éventuels désaccords. OpenAI pourra caviarder les informations confidentielles et retarder la publication des rapports afin de parer d’abord aux risques.

Ce programme s’inscrit dans le prolongement d’un examen sur site antérieur des systèmes de surveillance d’OpenAI. Il étend également une pratique lancée chez Anthropic, où des chercheurs de METR ont obtenu le mois dernier un accès comparable à celui des employés. Des critiques soulignent qu’Apollo et Goodfire sont rémunérés pour leur travail, tandis que METR et Transluce ne reçoivent que des crédits de calcul ou d’API. Certains spécialistes de la sécurité, comme Buck Shlegeris, PDG de Redwood, estiment que l’accès accordé n’atteint pas encore le niveau « comparable à celui d’un employé » réclamé par beaucoup.

Pourquoi c’est important

Pour les utilisateurs de ChatGPT et des autres produits d’OpenAI, ces audits pourraient révéler des modes de défaillance cachés avant que les modèles ne soient mis à la disposition du public. Si les auditeurs découvrent de graves lacunes en matière de sécurité, OpenAI pourrait devoir corriger ses modèles ou retarder leur sortie, ce qui pourrait influer sur le déploiement de fonctionnalités et les tarifs.

Pourquoi c'est important

Ces audits apportent un regard extérieur sur le comportement des modèles les plus puissants d’OpenAI pendant leur entraînement, et pas seulement après leur mise en service. Ils pourraient contribuer à rendre les produits plus sûrs pour le grand public, mais le peu d’informations rendues publiques empêche encore les personnes extérieures de vérifier pleinement les conclusions.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.