研究团队分析了18至25岁年轻人与ChatGPT之间的19,930段对话,以及158名参与者的调查数据。他们发现,处于极度痛苦中的用户会收到聊天机器人过于夸张、急于采取行动的回应。10名临床医生审阅部分对话后表示,AI往往很快就跳到解决方案上;研究人员将这种模式称为“过程失误”。作者提出了三项设计建议:询问用户是否安全、缓和对话的紧张程度,以及在不立即认同用户的前提下了解他们的担忧。
为什么重要
了解这些回应模式,有助于开发者让对话式AI更安全、更能支持处境脆弱的年轻用户。
研究人员分析了近2万段ChatGPT对话,发现聊天机器人在用户极度痛苦时可能反应过度,并据此提出新的设计指南。
简讯Oossa1 分钟阅读
研究团队分析了18至25岁年轻人与ChatGPT之间的19,930段对话,以及158名参与者的调查数据。他们发现,处于极度痛苦中的用户会收到聊天机器人过于夸张、急于采取行动的回应。10名临床医生审阅部分对话后表示,AI往往很快就跳到解决方案上;研究人员将这种模式称为“过程失误”。作者提出了三项设计建议:询问用户是否安全、缓和对话的紧张程度,以及在不立即认同用户的前提下了解他们的担忧。
了解这些回应模式,有助于开发者让对话式AI更安全、更能支持处境脆弱的年轻用户。
Oossa · 新闻简报
一周 AI,讲明白
每周一,用通俗的语言讲清值得知道的新闻。免费,无垃圾邮件。
| # | 来源 | 发布方 | 日期 | 要点 |
|---|---|---|---|---|
| 1 | Right Words, Wrong Moment: A Clinician-Grounded Analysis of Distress in 19,930 Conversations between Young People and ChatGPT ↗ | arXiv | 2026年9月30日 | arXiv:2609.35953v1 Announce Type: new Abstract: Young people increasingly turn to General-Purpose Conversational Agents (GPCAs), such as ChatGPT, in moments of distress. |
1 个来源