Oossa

AI 위기 지원 평가 벤치마크 ‘DistressBench’ 공개

새 벤치마크는 자살·자해 위기 상황에서 사용자를 얼마나 잘 돕는지 AI 모델 25종을 평가한다. 최고 점수를 받은 모델은 지원 기준의 88.4%를 충족했다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

연구진은 2026-10-12 arXiv에 영어 위기 상담 대화 718건을 담은 데이터셋 DistressBench를 공개했다. 각 대화에는 임상의가 작성한 사용자 발화와 지원의 7개 차원을 평가하는 기준표가 포함된다. 이 벤치마크는 모델이 답변을 거부했는지만 보는 대신, 필요한 지원을 얼마나 제공했는지 비율로 점수를 매긴다. 평가 대상 모델 25종 가운데 최고 성능을 보인 모델은 가중치가 적용된 기준의 88.4%를 충족했으며, 같은 기준으로 평가한 임상의 점수는 98.7%였다.

왜 중요한가

이 벤치마크를 통해 개발자는 실제 위기 상황에서 모델이 어떤 지원을 제대로 제공하지 못하는지 확인할 수 있다. 특히 사용자를 사람의 도움으로 연결하는 부분에서 부족한 점을 파악하는 데 유용하다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.