Een artikel dat op 10 nov 2026 op arXiv is gepubliceerd, laat zien dat ranglijsten voor taalmodellen in de stijl van een arena eenvoudig te manipuleren zijn. De auteurs demonstreren drie aanvallen — strategisch stemmen, prompts aanpassen en nomineren — waarmee een model telkens ongeveer 15-20 plaatsen kan stijgen. In combinatie kunnen de trucs een model zo’n 45 plaatsen hoger op de ranglijst brengen. Het artikel beschrijft ook maatregelen om dit tegen te gaan, maar merkt op dat het probleem speelt bij elk systeem dat het Bradley-Terry-model gebruikt om voorkeuren tussen twee opties te vergelijken.
Waarom het ertoe doet
Als deze trucs niet worden tegengegaan, kunnen ze ontwikkelaars en gebruikers op het verkeerde been zetten over welk taalmodel daadwerkelijk het beste presteert.
