Boris Radovič氏らの研究チームは、クラウドだけで動くAIエージェントと、小型のオンデバイスモデルの中間にあたる方式を検証した。クラウド側でプログラムを作成し、ユーザーデータの解釈が必要な場合は、小型のローカルモデルに処理を依頼する。AppWorldベンチマークでのテストでは、このハイブリッド方式により、コードのみを使うエージェントの成功率が、モデルとテスト分割の6通りすべてで向上した。最大14.9ポイント上昇し、プライバシーを保ちながら、クラウド上で完結するReActループとの性能差を大幅に縮めた。
なぜ重要か
エッジ端末のユーザーは、プライベートなデータをクラウドに送らずに、より精度の高いAIアシスタントを利用できる。