一篇于2026年11月10日发布在 arXiv 上的论文指出,语言模型的竞技场式排行榜很容易被操纵。作者展示了三种攻击方式——策略性投票、提示词操纵和提名——每种都能让模型排名提升约15至20位。若结合使用,这些手段可让模型在排行榜上跃升约45位。论文还提出了防范措施,但指出,任何使用 Bradley-Terry 模型来处理成对偏好比较的系统都存在这一问题。
为什么重要
如果不加以防范,这些手段可能会误导开发者和用户,让他们无法准确判断哪款语言模型的表现最好。
研究人员发现,通过简单手段操纵基于偏好的模型排名,最多可提升45位。
简讯作者: OossaOossa 发布日期: 1 分钟阅读
一篇于2026年11月10日发布在 arXiv 上的论文指出,语言模型的竞技场式排行榜很容易被操纵。作者展示了三种攻击方式——策略性投票、提示词操纵和提名——每种都能让模型排名提升约15至20位。若结合使用,这些手段可让模型在排行榜上跃升约45位。论文还提出了防范措施,但指出,任何使用 Bradley-Terry 模型来处理成对偏好比较的系统都存在这一问题。
如果不加以防范,这些手段可能会误导开发者和用户,让他们无法准确判断哪款语言模型的表现最好。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。