Eine am 10. Nov. 2026 auf arXiv veröffentlichte Studie zeigt, dass sich Ranglisten für Sprachmodelle nach dem Arena-Prinzip leicht manipulieren lassen. Die Autoren demonstrieren drei Angriffe – strategisches Abstimmen, Prompting und Nominieren –, mit denen sich der Rang eines Modells jeweils um etwa 15–20 Plätze verbessern lässt. In Kombination können die Tricks ein Modell auf der Rangliste um rund 45 Plätze nach oben bringen. Die Studie beschreibt auch Schutzmaßnahmen, weist aber darauf hin, dass das Problem jedes System betrifft, das für paarweise Präferenzen das Bradley-Terry-Modell verwendet.
Warum es wichtig ist
Bleiben solche Manipulationen unentdeckt, könnten sie Entwickler und Nutzer darüber täuschen, welches Sprachmodell tatsächlich am besten abschneidet.
