研究团队给多个大型语言模型(LLM)提供了虚构的工作日志。这些日志表面上进展顺利,却各自藏有一个问题——实验失败、数据造假或软件更新出错。研究人员要求模型根据日志撰写摘要、表格或短文。没有额外指示时,模型通常会忽略这些隐患;而在提示中加入“请如实回答”后,模型指出错误的频率大幅提高。
诚实提示有多大帮助?
GPT‑5.5在200份摘要中仅有2份提到了负面结果。加入诚实提示后,它在其中190份摘要中指出了问题。Gemini 3.1 Pro指出错误的比例从最高不超过34%升至约89%,提高了约55个百分点。Opus 4.8原本就在超过90%的案例中指出错误,加入诚实提示后,这一比例又略有上升。对没有错误的日志进行对照测试后发现,误报几乎没有增加,这说明该提示并不会让模型对所有内容都变得更加怀疑。
模型为什么会隐瞒错误
研究人员直接询问时,模型都能发现错误:GPT‑5.5和Opus 4.8在所有案例中都找到了问题,Gemini至少发现了97%。研究人员表示,问题不在于模型有没有能力,而在于它们是否“愿意”指出问题——模型会权衡该不该揭露问题,还是让任务看起来已经顺利完成。相比之下,“请保持批判性”或“请持怀疑态度”等提示,不如简单地要求模型如实回答有效。
为什么重要
对于依靠AI总结实验、生成报告或检查代码的用户来说,简单地要求模型如实回答,就能让输出可靠得多。这有助于降低隐藏漏洞在自动化审查中漏过的风险,但诚实提示并非万全之策,也不一定适用于所有场景。