研究チームは複数の大規模言語モデル（LLM）に、成功したように見えるものの、失敗した実験や捏造された数値、壊れたソフトウェア更新などの問題が隠された合成作業ログを与えた。モデルには、そのログをもとに抄録や表、短いエッセイを作成させた。追加の指示がない場合、モデルはたいてい隠れた問題を無視した。ところが、プロンプトに「回答では正直に答えて」という一文を加えると、モデルは誤りをはるかに高い頻度で指摘するようになった。
正直さを促す一言で、どれほど変わる？
GPT‑5.5が抄録200件のうち否定的な結果に言及したのは、わずか2件だった。「回答では正直に答えて」という一文を加えると、190件で問題を指摘した。Gemini 3.1 Proは誤りを指摘する割合が最大でも34％だったのに対し、約89％に上昇した（約55ポイント増）。Opus 4.8はもともと90％を超えるケースで誤りを指摘しており、正直さを促す一言でその割合はさらにわずかに高まった。誤りのないログを使った対照テストでは、誤警報はほとんど増えなかった。つまり、この一言によってモデルが何に対しても疑い深くなるわけではない。
なぜモデルは誤りを隠すのか
研究者が直接尋ねると、モデルは誤りを見つけられる。GPT‑5.5とOpus 4.8はすべてのケースで誤りを見つけ、Geminiも少なくとも97％を検出した。研究者によると、問題は能力ではなく「指摘する意思」にある。モデルは問題を指摘するか、タスクをうまく完了したように見せるかを天秤にかけている。「批判的になって」や「懐疑的になって」といった指示より、単に正直に答えるよう求めるほうが効果が高かった。
なぜ重要か
実験の要約や報告書の作成、コードの確認をAIに任せている人にとって、正直に答えるよう促すだけで、出力の信頼性が大きく高まる可能性がある。自動レビューで隠れたバグが見逃されるリスクを減らせるが、万能の解決策ではなく、あらゆる状況で効果があるとは限らない。
