Oossa

AIモデルのランキングは簡単に操作できるとの研究

研究者らは、選好に基づくモデルランキングで、簡単な操作により順位を最大45位押し上げられると明らかにした。

短信著者: Oossa公開日: 1 分で読める

2026年11月10日にarXivで公開された論文は、言語モデルのアリーナ形式のランキングが簡単に操作され得ることを示している。著者らは、戦略的な投票、プロンプトの工夫、推薦という3つの攻撃手法を実証し、それぞれでモデルの順位を約15~20位上げられるとした。これらを組み合わせると、ランキングで約45位上昇させることができる。論文では対策も示しているが、Bradley-Terryモデルを使ってペアごとの選好を評価するシステム全般に問題が及ぶと指摘している。

なぜ重要か

こうした不正操作を放置すれば、どの言語モデルが本当に最も優れているのかについて、開発者やユーザーを誤解させるおそれがある。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。