OpenAI indique que ses chercheurs utilisent davantage les agents de codage, même si ces systèmes peinent à gérer des tâches d’ingénierie complexes et produisent du code qui doit être soigneusement vérifié. En octobre, l’utilisation médiane par chercheur d’outils internes comme Codex et Dots équivalait à $2,400 de jetons par jour, aux tarifs publics habituels de l’API, soit une hausse de 62 percent par rapport à septembre. Pour les 10 percent d’utilisateurs les plus actifs, l’équivalent atteignait $23,000 par jour.
Ces chiffres estiment ce que cette utilisation aurait coûté aux tarifs publics; il ne s’agit ni de paiements en espèces ni du salaire réel des chercheurs. Selon OpenAI, les agents ont fonctionné l’équivalent de 5.7 journées de huit heures par chercheur et par jour calendaire, et d’environ huit journées dans les équipes de pré-entraînement et de post-entraînement. Au pic d’utilisation, plus des deux tiers des chercheurs suivis faisaient tourner au moins quatre agents simultanément. La comparaison entre le coût des agents et celui des salaires repose sur les chiffres de septembre et exclut les actions, qui représentent, selon OpenAI, 70 to 80 percent de la rémunération totale de ses employés. L’utilisation des agents représentait 2 percent de l’ensemble des ressources de calcul consacrées à la recherche par l’entreprise.
Les agents sont plus efficaces sur les tâches courantes
OpenAI indique que la proportion d’agents autonomes capables d’accomplir sans intervention humaine des tâches de deux à quatre heures est passée de 23 percent en mars à 46 percent en octobre. Pour les tâches de quatre à huit heures, le taux de réussite annoncé est passé de 13 à 35 percent. Les résultats varient fortement selon les tâches : les agents ont réussi à surveiller des opérations d’entraînement dans 79 percent des cas et à répondre à des questions techniques dans 72 percent des cas. En revanche, ils n’ont réussi que dans 29 percent des cas lorsqu’il s’agissait de créer des environnements d’évaluation ou d’apprentissage par renforcement, et dans 25 percent des cas pour écrire du code destiné aux systèmes d’inférence et de mise en service.
L’entreprise fait également état d’un vif intérêt de ses employés pour ces outils, tout en précisant que ses sondages sont limités. Dans une enquête interne non représentative auprès de 101 employés, la personne médiane interrogée a déclaré qu’elle préférerait perdre 40 percent des effectifs de son équipe ou 30 percent de sa capacité de calcul plutôt que de se passer des agents de codage actuels pendant trois mois. Lors d’un sondage éclair distinct auprès de 28 employés, 27 ont préféré le dernier modèle interne à un ingénieur humain en milieu de carrière. Ces réponses témoignent de l’enthousiasme des employés interrogés, mais ne constituent pas une mesure générale des performances des agents.
Le jugement humain reste essentiel
Les entretiens menés auprès de dix chercheurs d’OpenAI mettent en lumière une faiblesse persistante : les agents manquent de ce que les personnes interrogées ont appelé le « flair » nécessaire pour repérer des pistes de recherche prometteuses et produire du code ou des données de qualité. Ils peuvent partir de suppositions erronées, effectuer des étapes inutiles et générer des modifications de code ou des données inutilisables par les chercheurs. Selon ces derniers, une supervision étroite est nécessaire pour éviter de gaspiller du temps de calcul. Les équipes travaillant sur le post-entraînement et la sécurité ont indiqué que les idées clés à l’origine de GPT-6 Astra et GPT-6.2 Astra venaient de personnes; certains chercheurs en pré-entraînement ont dit que Codex les avait aidés à parvenir à des résultats importants dans le cadre de leurs travaux sur GPT-6.2 Astra.
OpenAI présente ces chiffres comme des indicateurs d’une accélération de la recherche et d’une possible amélioration récursive, dans laquelle l’IA contribue à concevoir les systèmes d’IA qui lui succèdent. L’entreprise prévient toutefois que les résultats actuels ne progresseront peut-être pas de façon linéaire. The Decoder relève également que METR a estimé que l’IA avait presque doublé le rythme de développement chez Anthropic au cours d’une période d’observation de 11 semaines; il s’agit de l’estimation d’une autre organisation, et non d’une comparaison directe avec OpenAI. Début septembre, OpenAI avait déclaré avoir atteint son propre objectif : créer un stagiaire chercheur en IA automatisé. Son directeur scientifique, Jakub Pachocki, avait alors mis en garde contre les lacunes en matière de contrôle et de supervision.
Pourquoi c'est important
Pour celles et ceux qui s’intéressent aux méthodes de recherche en IA, les chiffres d’OpenAI montrent que les agents de codage peuvent prendre en charge certaines tâches courantes et que ses chercheurs apprécient d’y avoir accès. Mais les échecs rapportés en ingénierie complexe et les témoignages de chercheurs sur des résultats inutilisables ne permettent pas de conclure que les agents peuvent remplacer le jugement des chercheurs ou travailler de façon autonome tout au long du processus.