Oossa

METR ajoute des tâches ouvertes à son graphique des progrès de l’IA

Le graphique actualisé de l’organisme montre que l’IA continue de doubler ses performances sur les tâches simples tous les quatre mois, mais que les modèles peinent encore sur les tâches exigeant du discernement, comme la conception de recherches.

Par Publié par Oossa: 2 min de lecture

铮 夏 · Unsplash

MIT Technology Review rapporte que METR, un organisme à but non lucratif spécialisé dans l’évaluation de l’IA, a publié une version actualisée de son graphique sur l’horizon temporel. Le nouveau graphique ajoute des tâches qui demandent beaucoup plus de temps aux humains et exigent davantage de discernement, comme concevoir des évaluations de l’IA ou noter des arguments philosophiques. Le graphique original, largement relayé, mesurait les progrès en fonction du temps nécessaire à un humain pour accomplir une tâche et montrait que les modèles de pointe doublent tous les quatre mois la durée des tâches qu’ils peuvent prendre en charge. La mise à jour confirme cette tendance pour les tâches simples et vérifiables, comme le codage et les mathématiques, mais met aussi en évidence un écart croissant pour les tâches ouvertes. Ces nouvelles tâches visent à sonder des capacités importantes pour automatiser la recherche et le développement. Pour la tâche de conception d’évaluations, même les modèles les plus avancés ont obtenu un résultat « tout juste au-dessus du seuil », sans pour autant atteindre le niveau d’utilité attendu par l’équipe de METR. Pour la tâche portant sur les arguments philosophiques, les modèles ont également obtenu des résultats inférieurs à ceux des experts humains. Les chercheurs cités dans l’article disent que ces résultats ne sont pas surprenants : des travaux antérieurs avaient montré que l’IA ne parvient toujours pas à mener seule des recherches en informatique comparables à celles des humains. L’équipe de METR reconnaît qu’il est difficile de mesurer les performances sur ces tâches. Pour bon nombre des nouvelles tâches, les estimations du temps nécessaire à un humain remplacent les tests réels, car rémunérer des personnes pour accomplir des travaux pouvant prendre des centaines d’heures coûte cher. Le rapport comprend donc moins de tâches exigeant du discernement et reconnaît que les données sont moins robustes que celles de la série initiale. Des experts comme Sayash Kapoor, de UC Berkeley, et Najoung Kim, de Boston University, saluent cette initiative, tout en prévenant que les tendances concernant les capacités difficiles à mesurer resteront imprécises. Dans l’ensemble, le graphique actualisé confirme les progrès rapides pour les tâches dont la réussite se vérifie facilement, tandis que les avancées restent incertaines pour les travaux exigeant du discernement. Il pourrait fortement influencer la manière dont la communauté envisage le calendrier de l’automatisation de la R&D par l’IA.

Pourquoi ces nouvelles tâches comptent

Pour que l’IA aide à concevoir de nouvelles expériences ou à rédiger des propositions de recherche, elle doit pouvoir traiter des tâches qui ne se vérifient pas par un simple résultat binaire. Le graphique actualisé de METR montre que les modèles actuels restent en retrait par rapport aux humains dans ces domaines, ce qui laisse penser que la recherche entièrement automatisée par l’IA n’est pas pour demain. Pour les entreprises qui misent sur l’IA afin d’accélérer le développement de produits, cet écart signifie qu’elles ne devraient pas s’attendre à des gains immédiats en utilisant l’IA pour prendre des décisions stratégiques de haut niveau. La technologie reste plutôt la plus fiable pour des travaux concrets et vérifiables, comme la génération de code ou l’analyse de données.

Pourquoi c'est important

Pour le grand public, cette mise à jour signifie que les outils d’IA continueront de progresser pour les tâches clairement définies, comme le codage, mais qu’ils ne sont pas encore prêts à remplacer le jugement humain dans la planification de recherches ou le raisonnement philosophique. Les entreprises devraient continuer à s’appuyer sur l’IA pour automatiser les tâches courantes, tout en gardant les humains dans la boucle pour les décisions stratégiques.

Cet article vous a-t-il été utile ?
Partager

À lire ensuite

Oossa · Newsletter

La semaine de l'IA, expliquée

Chaque lundi : l'essentiel de l'actualité, en langage clair. Gratuit, sans spam.