연구진은 2026-10-12 arXiv에 영어 위기 상담 대화 718건을 담은 데이터셋 DistressBench를 공개했다. 각 대화에는 임상의가 작성한 사용자 발화와 지원의 7개 차원을 평가하는 기준표가 포함된다. 이 벤치마크는 모델이 답변을 거부했는지만 보는 대신, 필요한 지원을 얼마나 제공했는지 비율로 점수를 매긴다. 평가 대상 모델 25종 가운데 최고 성능을 보인 모델은 가중치가 적용된 기준의 88.4%를 충족했으며, 같은 기준으로 평가한 임상의 점수는 98.7%였다.
왜 중요한가
이 벤치마크를 통해 개발자는 실제 위기 상황에서 모델이 어떤 지원을 제대로 제공하지 못하는지 확인할 수 있다. 특히 사용자를 사람의 도움으로 연결하는 부분에서 부족한 점을 파악하는 데 유용하다.