Une nouvelle étude publiée sur arXiv révèle que certains modèles conçus pour prendre directement des décisions sur des textes peuvent égaler, voire surpasser, des juges IA plus grands qui génèrent du texte lors de tests d’évaluation courants. Ces modèles répondent à des questions précises — par oui ou non, à choix multiples ou en attribuant une note — sans fournir d’explication. L’article les qualifie de modèles de décision « System-1 » et examine s’ils peuvent évaluer les réponses d’IA à moindre coût que des modèles comme GPT-5.6 et Claude Opus 5.5.
Les chercheurs ont évalué 14 modèles de décision face à quatre juges génératifs sur 11 benchmarks reconnus. Cinq modèles de décision ont obtenu des résultats statistiquement indiscernables de ceux de GPT-5.6 sans raisonnement aux tests comparatifs par paires et « best-of-4 » de l’étude. Selon l’article, deux modèles, DReX-Max et d1-ultra, ont obtenu des scores significativement supérieurs à ceux de Claude Haiku 5.5 sur JudgeBench, LLMBar et RewardBench 2.
Les références changent les résultats
Fournir une réponse de référence a nettement amélioré les scores. Avec une réponse de référence générée une fois pour chaque consigne, 11 modèles de décision ont obtenu entre 90,3 % et 93,4 % sur JudgeBench. Les chercheurs indiquent que ces scores sont statistiquement indiscernables de ceux de GPT-5.6 avec raisonnement et de Claude Opus 5.5 avec réflexion.
Au test « best-of-16 » de PPE, tous les modèles de décision fournis avec une réponse de référence ont égalé GPT-5.6 avec raisonnement, pour un coût par consigne environ 16 fois inférieur, selon l’article. Cette comparaison suppose qu’une réponse de référence est disponible ; elle ne concerne pas l’évaluation sans référence. Le résumé ne précise ni les conditions d’accès aux modèles ni le détail du calcul des coûts.
Une approche qui a ses limites
Les résultats ne sont pas uniformes pour tous les modèles ni pour tous les enjeux. Lorsque les chercheurs ont ajouté une consigne au contenu évalué, cela a modifié le verdict correct dans 0 à 5 % des cas pour cinq modèles de décision, contre 17 à 49 % pour les neuf autres. Selon l’article, la résistance à ces consignes dépend du modèle concerné, et non du simple fait qu’il s’agisse d’un modèle de décision.
L’étude indique également que deux classements de modèles de décision polyvalents, qui n’incluent aucun test d’évaluation, permettaient de prédire avec précision les performances d’évaluation. Cela peut aider les chercheurs à présélectionner des modèles, mais ne montre pas que tous fonctionneront bien comme juges. Il s’agit de résultats obtenus sur des benchmarks dans le cadre d’une seule étude, et non d’une preuve que les modèles de décision peuvent remplacer les juges génératifs dans tous les usages réels.
Pourquoi c'est important
Les équipes qui utilisent l’IA pour noter des réponses générées par l’IA pourraient tester des options moins coûteuses, surtout si elles peuvent fournir une réponse de référence. Mais l’étude a mis en évidence de fortes différences entre les modèles face aux consignes injectées : ses résultats ne prouvent donc pas qu’un modèle de décision donné constitue un remplacement sûr et polyvalent d’un juge génératif.
