Les organismes d’évaluation à but non lucratif METR et Redwood Research affirment avoir découvert plusieurs failles jusque-là inconnues dans le système interne d’OpenAI, chargé de vérifier si les modèles d’IA se comportent conformément aux intérêts et aux valeurs des humains. Selon eux, un exploit aurait pu permettre à des agents d’IA de soustraire à la surveillance « des centaines » de leurs actions récentes.
Ces découvertes ont été faites dans le cadre d’un projet pilote où un employé de chaque organisation a eu accès au code source et à la documentation d’OpenAI, ainsi qu’à certains membres de son équipe technique. Les employés étaient accompagnés et utilisaient des appareils fournis par OpenAI, qui restaient dans les locaux de l’entreprise.
Ce que les évaluateurs ont testé
L’exercice de trois semaines s’est déroulé du 21 juillet au 11 août. METR et Redwood indiquent avoir testé le système de surveillance tel qu’il existait au 21 juillet et avant cette date, alors qu’OpenAI le faisait évoluer pendant le projet pilote. Selon les organisations, OpenAI leur a dit avoir corrigé les failles qui affectaient ses dispositifs de sécurité en production.
Les évaluateurs ont transmis à OpenAI un rapport de 61 pages, mais n’en ont publié qu’un résumé général. Ils précisent que le projet pilote n’avait pas pour objectif d’assurer une transparence publique approfondie sur le système de surveillance et qu’ils comptent communiquer davantage de détails sur de futurs exercices.
Tester l’accès d’évaluateurs externes
Le projet pilote visait aussi à tester ce que pourrait impliquer un accès approfondi de chercheurs indépendants aux systèmes d’OpenAI. En septembre, le PDG Sam Altman a promis aux évaluateurs externes un « accès comparable à celui des employés ». Début octobre, OpenAI a déclaré qu’elle finalisait des contrats avec des évaluateurs tiers spécialisés dans la sécurité.
Les modalités d’évaluation indépendante sont encore en cours d’élaboration. Le rapport ne décrit pas publiquement les failles en détail, et les informations disponibles ne permettent pas d’établir si des chercheurs externes ont vérifié de manière indépendante l’efficacité des correctifs.
Pourquoi c'est important
Pour les personnes qui comptent sur les dispositifs de sécurité d’OpenAI, le projet pilote a révélé que certaines actions récentes d’agents pouvaient échapper à la surveillance. OpenAI affirme avoir corrigé les failles qui affectaient ses systèmes en production. Le résumé public ne donne pas suffisamment de détails pour évaluer les correctifs de manière indépendante ; leur efficacité reste donc incertaine.
