研究者らは2026-10-12、718件の英語による危機相談を収録したデータセット「DistressBench」をarXivで公開した。各会話には、臨床家が作成したユーザー発話と、支援を7つの側面から評価する基準が含まれる。このベンチマークでは、回答を拒否したかどうかだけでなく、必要なケアをどの程度提供できたかを割合で採点する。評価対象の25モデルのうち、最高のモデルは重み付けされた基準の88.4%を満たした。一方、臨床家の評価は同じ基準で98.7%だった。
なぜ重要か
このベンチマークにより、危機に直面した人への実際の支援でモデルが苦手とする点、特に人による支援へのつなぎ方を開発者が把握できる。
