arXivに掲載された研究では、よく似た過去の事例を3件見せたうえで、判断が難しい返金・請求申請に3つの言語モデルがどう対応するかを検証した。DeepSeek V4.1 Flash、GPT-5.6 Luna、Claude Haiku 5.5では、研究者が作成したポリシーのもとで、過去事例の記録上の判断をDENYからAPPROVEに変えると、承認率が約30〜55ポイント上昇した。
一方、DeepSeekとLunaに過去事例の事実関係だけを見せた場合、承認を裏付ける事実がある事例のほうが、否認を裏付ける事実がある事例よりも承認されにくかった。著者らによると、実際のポリシーを言い換えた9件の公開ポリシーでも、同様の傾向が確認された。
なぜ重要か
返金や請求の審査にAIを使う組織は、過去事例の事実関係と記録上の判断結果を分けて検証する必要がある。どちらも判断を左右しうるうえ、その影響の方向が異なる場合があるためだ。
