12 октября 2026 года исследователи опубликовали на arXiv DistressBench — набор данных из 718 диалогов на английском языке с людьми в кризисной ситуации. В каждом диалоге есть реплики пользователя, написанные клиницистами, и система оценки по семи аспектам поддержки. Модели оценивают по доле оказанной необходимой помощи, а не только по тому, отказались ли они отвечать. Среди 25 проверенных моделей лучшая выполнила 88,4% взвешенных критериев, тогда как клиницисты набрали 98,7% по той же системе оценки.
Почему это важно
Этот тест помогает разработчикам увидеть, в чём модели не справляются с поддержкой людей в кризисной ситуации, особенно когда нужно направить пользователя за помощью к человеку.
