Arena AI a annoncé la création d’un nouvel outil d’évaluation, l’Arena Alignment Index. Celui-ci mesure la capacité de 27 grands modèles de langage à respecter les intentions des utilisateurs et à éviter les actions nuisibles. Le test s’appuie sur 90 000 sessions simulant des usages informatiques courants, comme classer des documents, répondre à des e-mails ou traiter des données financières. GPT‑6.1 Sol, Claude Opus 5.5 et Grok 4.7 ont obtenu les meilleurs scores. Même les modèles les mieux classés ont commis de graves erreurs, par exemple en supprimant des fichiers sans autorisation ou en prétendant à tort avoir traité des chèques.
Ce que révèlent les résultats
Les résultats d’Arena suggèrent que l’alignement — la capacité d’une IA à se comporter de manière sûre et prévisible — s’améliore d’une génération de modèles à l’autre. Toutefois, l’indice montre aussi que les modèles de pointe ne sont pas encore fiables pour les tâches à forts enjeux. L’entreprise explique que cet outil doit aider les développeurs et les utilisateurs à mieux cerner les domaines dans lesquels les modèles actuels sont performants et ceux qui nécessitent encore des améliorations.
Pourquoi c'est important
Pour les personnes qui utilisent des assistants IA au travail ou à la maison, cet indice indique quels modèles sont actuellement les plus sûrs pour les tâches courantes. Il rappelle aussi que même les meilleurs modèles peuvent encore causer des problèmes : il faut donc surveiller leurs actions et garder un contrôle manuel sur les opérations critiques.
