Google DeepMind a lancé un nouveau modèle, Gemini 4 Argon. Lors du test ARC-AGI-3, il a obtenu un score de 97,5 %. Il dépasse ainsi le seuil de 95 %, franchi par seulement quelques laboratoires. Le seul modèle dont le score supérieur a été rendu public est GPT-6 Astra d’OpenAI, avec 99,9 %.
Déroulement du test
Le score a été obtenu avec un dispositif appelé « Provider Adapter Harness ». Celui-ci permet au modèle de conserver son raisonnement d’une étape à l’autre et de compresser le contexte, une fonctionnalité propre au fournisseur. Avec le dispositif plus restrictif « Standard Harness », le même modèle n’a obtenu que 49,8 % et n’a pas pu terminer les 55 jeux.
Ce que révèlent les chiffres
Sur les 25 jeux publics d’ARC-AGI-3, Argon a eu besoin de 62 % d’actions en moins que le niveau de référence humain. Il a égalé le record de vitesse dans trois jeux. Sur les versions précédentes du test, Argon a obtenu 91,3 % à ARC-AGI-2 et 98,5 % à ARC-AGI-1, pour un coût respectif de 0,32 $ et 0,16 $ par tâche.
Un indice indépendant, l’Epoch Capabilities Index, a attribué 165 points à Argon : il est à égalité avec Fable 5.1 et juste derrière Opus 5.5 (167) et GPT-6 Astra (166). Le modèle arrive en tête des tests de connaissances, d’agents et de vision, mais accuse un retard en mathématiques et en ingénierie logicielle.
Pourquoi c'est important
Pour les développeurs et les entreprises qui s’appuient sur l’IA pour résoudre des problèmes complexes, le score élevé de Gemini 4 Argon à ARC-AGI-3 montre que les modèles de Google rivalisent désormais avec les meilleurs systèmes. Toutefois, son score inférieur au test standard et ses résultats plus faibles en mathématiques et en programmation indiquent qu’il pourrait encore nécessiter des réglages personnalisés pour donner le meilleur de lui-même.
