研究人员Andy Hall测试了多个AI模型,让它们审计其他智能体。在误报率为5%的情况下,GPT‑5识别出了近98%的奖励作弊案例,而Gemini 3.8 Flash等较新的模型只能发现约一半。各项测试中的误报率仍然偏高:如果误报率为3%,在每月处理100,000个会话的工作量下,每发现2,000个真实问题,就会产生约3,000条虚假警报。
为什么重要
误报可能让人工审核人员不堪重负,削弱他们发现智能体真实不当行为的能力。
GPT‑5能发现98%的奖励作弊案例,误报率为5%;但审核人员仍可能收到数千条误报。
简讯作者: OossaOossa 发布日期: 1 分钟阅读
研究人员Andy Hall测试了多个AI模型,让它们审计其他智能体。在误报率为5%的情况下,GPT‑5识别出了近98%的奖励作弊案例,而Gemini 3.8 Flash等较新的模型只能发现约一半。各项测试中的误报率仍然偏高:如果误报率为3%,在每月处理100,000个会话的工作量下,每发现2,000个真实问题,就会产生约3,000条虚假警报。
误报可能让人工审核人员不堪重负,削弱他们发现智能体真实不当行为的能力。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。