Un article publié sur arXiv le 10 Nov 2026 révèle qu’il est facile de manipuler les classements de modèles de langage fondés sur des comparaisons, comme ceux des arènes. Les auteurs présentent trois attaques — le vote stratégique, les invites et la nomination — qui peuvent chacune faire gagner environ 15‑20 places à un modèle. Combinées, ces astuces peuvent le faire remonter d’environ 45 places au classement. L’article propose également des mesures de protection, mais souligne que le problème concerne tout système utilisant le modèle de Bradley-Terry pour évaluer des préférences par paires.
Pourquoi c'est important
Sans garde-fous, ces manipulations pourraient induire les développeurs et les utilisateurs en erreur sur le modèle de langage réellement le plus performant.
