MEMENTO、短いメモで長編書籍の質問に回答

新しいarXiv論文で、非常に長い文章を読み進める際に、どの情報を残すべきか判断するよう訓練されたAIエージェント「MEMENTO」が紹介された。書籍の内容に関する質問を使ったテストでは、システムによってQwen3-8Bの正答率は36.9%から67.8%に上昇し、同時に扱うコンテキストは20,000トークン以下に抑えられた。テストに使われた書籍は、最長で2.5 millionトークンに及んだ。

この手法が取り組むのは、AIシステムにとって基本的な課題だ。長い会話や文書のすべてを、常に作業用コンテキストに保持できるとは限らない。よく使われる回避策の一つが「コンパクション」で、以前の内容を短いメモに置き換える。論文によると、GPT-5.5やGLM-5.3などの既製エージェントは質の低いメモを作りがちで、強化学習だけでは効果的なメモの取り方を身につけさせるのは難しいという。

MEMENTOのコンテキスト管理方法

MEMENTOはQwen3-8Bをベースにしている。まず、後から振り返って作成したメモを含む合成データで学習を始め、そのデータを使ってモデルをファインチューニングした。さらに、フィードバックを通じてモデルを改善する手法である強化学習を導入。回答の正しさ、メモの質、そしてエージェントの自信度が実際の成績とどれほど一致するかに基づいて報酬を与えた。

システムは、過去のやり取りを新しいコンテキストウィンドウに要約するよう訓練された。一方、テスト時には、情報をコンテキスト内に折り込んだり、自信が低い場合に以前の内容を見直したりする方法も使ったと論文は説明している。こうした戦略により、文章全体をアクティブなコンテキストに読み込まずに、長い書籍を扱える。

結果から分かること

書籍に関する質問応答の4つのベンチマーク全体で、MEMENTOのスコアは67.8%だった。同じテスト環境でのGPT-5.5エージェントは13.1%、書籍全体をコンテキストに使う比較対象は56.7%だったと論文は報告している。また、約100倍の規模とされるGLM-5.3エージェントに対しては、MEMENTOは69.3%を記録した。論文によれば、MEMENTOのコストはGPT-5.5エージェントの50分の1未満、GLM-5.3エージェントの9分の1だった。書籍全体のコンテキストを使ったGLM-5.3には6.4ポイント差まで迫り、コストは26分の1だった。

これらは論文の著者が報告した結果であり、MEMENTOがほかのタスクや文書でも同じように機能することを示すものではない。論文の要旨には、ベンチマーク名や具体的な金額、モデルを一般公開するかどうかの詳細は記載されていない。今回の結果は、書籍全体を対象とする質問応答と、論文に記載されたテスト環境に限られる。