Oossa

DistressBench发布,用于测试语言模型的危机支持能力

这项新基准测试评估了25款AI模型在用户面临自杀和自伤危机时提供帮助的能力。表现最佳的模型达到了88.4%的照护标准。

简讯作者: Oossa 发布日期: 1 分钟阅读

研究人员于2026-10-12在arXiv上发布了DistressBench,这是一个包含718段英语危机对话的数据集。每段对话都包含由临床医生撰写的用户发言,以及一套用于评估七个支持维度的评分标准。该基准根据模型提供了多少必要照护内容来评分,而不只看模型是否拒绝回答。在评估的25款模型中,表现最佳的模型达到加权标准的88.4%;临床医生按照同一套标准评分则达到98.7%。

为什么重要

这项基准测试能让开发者了解模型在实际危机援助中有哪些不足,尤其是引导用户寻求人工帮助方面。

这篇文章有帮助吗?
分享

继续阅读

Oossa · 新闻简报

一周 AI,讲明白

每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。