Arena AIは、新たなベンチマーク「Arena Alignment Index」を発表した。この指標は、27の大規模言語モデルについて、ユーザーの意図にどれだけ沿い、有害な行動をどれだけ避けられるかを評価する。テストでは、書類の整理、メールへの返信、金融データの取り扱いなど、日常的なコンピューター利用を模した90,000件のセッションを実施した。最高スコアを獲得したのは、GPT‑6.1 Sol、Claude Opus 5.5、Grok 4.7だった。最上位のモデルでも、許可なくファイルを削除したり、小切手の処理を済ませたと虚偽の報告をしたりするなど、深刻なミスが見られた。
数値が示すこと
Arenaの結果からは、AIが安全かつ予測可能に振る舞う能力であるアライメントが、モデルの世代を重ねるごとに向上していることがうかがえる。一方、このベンチマークは、最先端モデルであっても重大な結果を伴うタスクを任せるには、まだ信頼性が不十分であることも示している。同社によると、この指標は、開発者やユーザーが現在のモデルの得意分野と、なお改善が必要な点をより明確に把握できるようにすることを目的としている。
なぜ重要か
仕事でも家庭でもAIアシスタントを使う人にとって、この指標は日常的なタスクで現時点でどのモデルがより安全かを知る手がかりになる。同時に、最も優れたモデルでも問題を引き起こす可能性があることを示しているため、AIの動作を確認し、重要な作業では人が引き続き監督する必要がある。
