В статье, опубликованной на arXiv 10 Nov 2026, показано, что рейтинги языковых моделей по типу Arena легко поддаются манипуляциям. Авторы описывают три способа — стратегическое голосование, промптинг и выдвижение моделей, — каждый из которых может поднять модель примерно на 15‑20 позиций. В сочетании эти приёмы позволяют переместить её в рейтинге примерно на 45 мест вверх. В статье также предложены меры защиты, однако авторы отмечают, что проблема касается любых систем, использующих модель Брэдли — Терри для оценки парных предпочтений.
Почему это важно
Если не принять меры, такие уловки могут ввести разработчиков и пользователей в заблуждение относительно того, какая языковая модель действительно работает лучше.
