OpenDS-World、ウェブ検索エージェントを200課題で評価

研究者らは、検索やブラウザー操作、さまざまなファイル形式を使って、AIエージェントがライブウェブ上から答えを調査できるかを評価するベンチマーク「OpenDS-World」を発表した。ベンチマークには200の課題が含まれ、人間による確認を通じて、根拠が適切であることと、各課題に答えが一つだけ存在することを確かめている。

研究者らが単一のツール構成で12モデルを評価したところ、最も高い正答率は39.0％だった。人間の評価者は1,000回の試行で21.1％にとどまった。論文では、ツールの連携や長時間の検索の管理に問題が残っていることも報告されているが、提供された要旨では最高性能のモデル名は明かされていない。