自己点検プロンプトでLLM審査員の信頼性向上

Y. Yin氏が率いる研究チームは2026年10月20日、LLM審査員が自らの偏りを減らせることを示す論文を発表した。チームは2つの方法を検証した。判定前に偏りの可能性を警告するプロンプトと、回答後に偏りがないか自分で批評するよう求めるプロンプトだ。最先端の3つのモデルを使った検証では、自己点検プロンプトにより、モデルと偏りの組み合わせ21通りのうち20通りで結果が改善し、最大15ポイント向上した。一方、従来の外部批評役を使う方法は、新たな偏りテストで成績が下回った。