Alex Iacob氏らの研究チームは、Red Queen Gödel Machine(RQGM)をarXivで公開した。このシステムでは、コードの修正案を評価するレビュアーとコーディングエージェントが共進化する。DeepSWEベンチマークでは、RQGMのコーダーが未使用のタスクの82.1%を解決したのに対し、評価器を固定したベースラインの成功率は75.0%だった。より多くの計算資源を投入した場合、RQGMの性能はGPT-6 Astraに迫る。また、この枠組みは科学論文の執筆や証明の採点に関するタスクで、探索コストを3分の1に抑える。
なぜ重要か
人が作成した固定の評価指標に頼らず、使い続けるうちに性能が向上するAIコーディングアシスタントを開発できる可能性がある。