Ryotaro Shimizu氏が率いるチームは、AIエージェントがユーザーに代わって商品をどこまで自動購入すべきかを測る新たなベンチマークを公開した。16種類の指示調整済みモデルをテストしたところ、商品の根拠が弱い場合でも、確認を取らずに購入することが多かった。一方、本人が付けた数十件のラベルだけで学習した浅い学習モデルは、30〜40件の例から、その人が自動購入を許容する境界を中央値0.79の精度で予測した。ただし、学習した境界は異なる商品分野にはうまく適用できなかった。
なぜ重要か
AIエージェントの利用時に個人向けの制御が不十分だと、消費者が望まない商品を自動購入されるおそれがある。