arXivで研究を発表したチームが、回答エンジンにどのページが引用されるかを予測する、小規模モデル「GEO Citation Ranker 4B」を紹介した。研究者らは、GEO-Benchのクエリに回答する10種類のエンジンを対象にスコアリングモデルをテストした。各エンジンには同じ候補ソースを与えた。
研究者らによると、229件のクエリで、4Bモデルの結果は、より大規模な27Bモデルやホスト型モデルのJevの結果と統計的に区別できなかった。モデル、ベンチマーク、予測結果、コードも公開した。
なぜ重要か
回答エンジンにページを引用してもらう方法を調べるチームは、公開されたモデルとベンチマークを試せる。ただし、報告された結果だけでは、このテスト設定の外でも引用をどの程度予測できるかは分からない。