En artikel som publicerades på arXiv den 10 nov. 2026 visar att arenabaserade topplistor för språkmodeller är lätta att manipulera. Författarna demonstrerar tre angrepp – strategisk röstning, promptning och nominering – som vart och ett kan höja en modells placering med omkring 15–20 steg. Tillsammans kan knepen flytta upp en modell ungefär 45 placeringar på topplistan. Artikeln beskriver också skyddsåtgärder, men påpekar att problemet gäller alla system som använder Bradley-Terrys modell för parvisa preferenser.
Varför det spelar roll
Om de här knepen inte stoppas kan de vilseleda utvecklare och användare om vilken språkmodell som faktiskt presterar bäst.
