Google Researchは、テスト時にAIエージェントのハーネスを変更するオープンソースのフレームワーク、Harness2を公開した。ハーネスとは、モデルがタスクを実行するのを助ける周辺の仕組みを指す。Harness2が具体的にどの部分を、どのように書き換えるのかは、元記事では説明されていない。
MarkTechPostによると、1回の改良でGLM-5のWorkBuddy-Benchスコアは11.5ポイント上昇し、モデルの重みは更新されなかった。この結果が示唆するのは、基盤モデルを再学習するのではなく、エージェントの構成を変えたことで性能が向上したということだ。元記事には開始時のスコアやテストの設定、ベンチマークを実施した組織が記載されていないため、提供された情報だけでは結果を独立に評価できない。
今回の公開から開発者が分かること
Harness2はApache-2.0ライセンスで公開された。このライセンスでは、利用規約に従う限り、開発者はソフトウェアを使用、改変、共有できる。研究チームやほかの開発者は、説明を読むだけでなく、フレームワークそのものを検証できる。
発表で報告されているのは、1つのモデル、1つのベンチマーク、1回の改良に限られる。ほかのモデルやタスクでも効果があるのか、どれほどの計算資源が必要なのか、日常的な利用に適した状態なのかは明らかにされていない。Harness2が自分たちのエージェントの改善につながるかを開発者が判断するには、こうした情報が欠かせない。
なぜ重要か
AI開発者はApache-2.0ライセンスのもとでHarness2を検証・改変できる。報告された結果は、モデルを再学習しなくてもエージェントの構成によってベンチマークのスコアが変わり得ることを示唆している。一方、元記事にはテストの詳細や、ほかのモデルやタスクでも効果があるという根拠がないため、実用上の価値はまだ不確かだ。
