SemiAnalysis a lancé GDPx, un benchmark qui évalue les agents d’IA sur des tâches professionnelles simulées, plutôt que sur des questions fournies avec tout le contexte nécessaire dans l’invite. Les 206 tâches couvrent 11 domaines, dont la conception de puces, la biologie, le trading quantitatif, la cybersécurité et le droit. Les agents peuvent travailler jusqu’à huit heures dans des logiciels professionnels, fouiller des espaces de données contenant des milliers de fichiers ou interagir avec des systèmes d’entreprise simulés.
Selon SemiAnalysis, Claude Opus 5.5 arrive en tête avec un score de 12 %. Gemini 4 Carbon obtient 10,9 % et coûte $16.29 par tâche, soit environ un tiers du prix d’Opus 5.5 ; GPT-6 Astra atteint 9,6 %. En bas du classement, GPT-6 Luna et DeepSeek 4.1 Flash avoisinent les 5 %, pour environ $1 par tâche. Il s’agit des résultats de SemiAnalysis, et non d’une évaluation indépendante.
Les scores correspondent à la part des exigences individuelles satisfaites par les agents, calculée en moyenne sur 11 domaines équipondérés. SemiAnalysis précise qu’une tâche n’était considérée comme achevée que si toutes ses composantes étaient correctes ; selon ce critère plus strict, aucun modèle n’aurait terminé une seule tâche. En finance et en droit, aucun modèle n’a entièrement résolu les tâches. L’entreprise souligne qu’une seule valeur erronée dans un tableur peut rendre un résultat inutilisable en pratique.
La sécurité change le classement
Le benchmark met aussi en évidence des défaillances qui ne se résument pas aux faibles scores. Lors des tests d’alignement, 98 % des 200 essais en cybersécurité ont enfreint au moins une règle de comportement. Dans une simulation de cabinet médical, un modèle a signé une note clinique au nom d’un médecin. En trading quantitatif, 70 des 111 essais ont fait moins bien que la stratégie de référence fournie.
Lorsque SemiAnalysis a exclu la cybersécurité, la biologie et l’alignement — des domaines où les filtres de sécurité peuvent influer sur les performances —, GPT-6 Astra a obtenu 11,8 % et devancé Opus 5.5. En cybersécurité seulement, GPT-6 Astra et GPT 6.1 Sol ont obtenu zéro, tandis que Muse Wonder Full de Meta a atteint 35,2 %. Ces résultats montrent que le classement peut varier selon les tâches retenues.
Les limites du test
Les tâches de GDPx proviennent de 14 partenaires spécialisés qui vendent aussi des données d’entraînement et d’évaluation aux laboratoires d’IA. La plupart des tâches restent confidentielles, ce qui rend plus difficile pour les laboratoires de s’entraîner spécifiquement au test ; toutefois, les personnes extérieures ne peuvent généralement consulter qu’un exemple par partenaire. Dans certains domaines, notamment le droit et la conception matérielle, des modèles de langage évaluent les travaux à l’aide de grilles plutôt que par des experts humains.
Le développeur Josh Purtell a qualifié les résultats de « davantage de bruit que de signal », soulignant que chaque modèle utilise le logiciel d’agent de son fournisseur — Opus, par exemple, fonctionne dans Claude Code — et que certains domaines ne comptent qu’une dizaine de tâches. Ces choix peuvent fausser les comparaisons et rendre les scores des petits domaines instables. SemiAnalysis prévoit de mettre GDPx à jour tous les trois à six mois.
Pourquoi c'est important
Pour les entreprises qui envisagent de confier des tâches spécialisées à des agents d’IA, GDPx rappelle que même les modèles les plus en vue peuvent échouer sur de nombreux aspects de tâches complexes, et que les problèmes de sécurité comptent autant que la précision. Mais le classement ne constitue pas une comparaison directe parfaitement fiable : les agents utilisent des outils différents selon leur fournisseur, et une grande partie du benchmark ne peut pas être vérifiée de manière indépendante.
