一篇于2026年10月23日发布在arXiv上的新论文,考察了大语言模型(LLM,即ChatGPT等工具背后的人工智能)跟进医学指南变化的能力。作者构建了名为ChronoEvo的测试集,涵盖12类医学知识变化中的1,709项具体指南修订,并让14种不同的大语言模型根据更新后的指南回答临床问题。
测试结果
研究中的主要模型在90.8%的案例中识别出指南已经修订,在80.2%的案例中给出了临床上正确的答案。然而,只有58.5%的回答完全纳入了新建议。也就是说,模型识别变化与实际采用新指南之间相差32.3个百分点。在测试的另外13种模型中也出现了同样的差距。 两名临床医生还审阅了300条模型回答,发现了类似的不足:模型识别指南修订与完全落实修订内容之间相差40.3个百分点。研究指出,如果修订改变了建议的力度,或调整了适用患者范围,模型回答尤其容易残留过时建议。 作者尝试了一种“修订显著性”调整方法,突出显示指南中更新的部分。这减少了模型保留旧信息的情况,也提高了整体临床正确率,但仍未弥合模型完全纳入新指南方面的差距。
为何重要
对于可能依赖人工智能获取医疗建议的医生或患者来说,这项研究意味着,即使模型已更新,也仍可能推荐过时的治疗方案。用户应对照现行官方指南,核实人工智能生成的医疗建议。
为什么重要
使用人工智能工具的医生和患者,可能会被看似最新、实际仍依据旧指南的建议误导。这项研究表明,人工智能开发者需要更有效的方法,确保模型不仅能注意到更新,也能正确落实更新内容。