新たなarXiv論文で、AIエージェントがタスクをこなす際に従う再利用可能な指示（「スキル」と呼ばれる）を改善する手法、SkillNEOが発表された。著者らによると、ソフトウェアエンジニアリングやオフィス業務など8分野のSkillsBench課題86件で、GPT-5.4 Miniの平均報酬は49.1%から66.4%に上昇した。
この手法は、最も高いスコアを取ったスキル版だけを残す場合に生じる問題に対処する。スコアが低い版にも、さらに編集を重ねれば効果を発揮する有用な修正が含まれている可能性がある。SkillNEOは、どの版を使うかと、どの版の開発を続けるかを別々に選ぶ。関連する複数の版を同じタスクで比較し、うまくいった手順と、なお修正が必要な失敗を探す。また、後から得た根拠を使って以前の版に戻り、修正することもできる。
スコアの低い版を残す理由は？
この研究では、GPT-5.4 Miniがタスクを実行し、修正案を提案してスキルを編集した。著者らは、スキルの改良に使ったものとは別の新しいタスクで検証したのではなく、改良に用いたものと同じタスク事例で最終結果を評価した。8つすべての分野で成績が向上したと報告している。最終スコアは、元のスキルを使った場合にGPT-5.5とGPT-5.6 Lunaで報告された結果の範囲内だった。
著者らは、スキルをさらに編集せずに、改良済みのスキルをより強力なモデルでも試した。改良済みスキルを使った41件のタスクでは、再利用によってLunaのスコアが10.5ポイント上昇した。GPT-5.5は、元のスキルを使った公表済みの基準値を10.6ポイント上回った。論文によると、開発中はスコアが低かった版の一部が、最終的に使用版として選ばれた。
この結果が示すこと、示さないこと
この結果は、能力の低いモデル自身がタスク要件を満たしきれない場合でも、その試行から、より強力なエージェントに役立つ指示が生まれる可能性を示している。ただし、評価対象は特定のベンチマーク課題86件で、最終評価にはスキル開発に使ったタスク事例が再利用された。そのため、この手法が未知のタスクでどの程度機能するかは明らかになっていない。提供された論文の要約には、モデルの料金や利用方法についての情報はない。
なぜ重要か
タスク特化型のAIエージェントを開発するチームにとって、この結果は、より安価または能力の低いモデルが、後に強力なモデルで使う再利用可能な指示の改善に役立つ可能性を示すものだ。ただし、報告された向上は検証対象のベンチマーク課題に限られており、新しいタスクにも効果が引き継がれるかは分かっていない。
