Shirali와 Arul Nigam 남매가 설립한 Circuit Breaker Labs는 모든 연령대와 언어, 속어를 구사하는 사용자를 모의해 AI 챗봇이 심리적으로 위험한 답변을 하는지 점검하는 테스트 플랫폼을 개발하고 있다. 회사는 2026년 10월 13~15일 샌프란시스코에서 열리는 TechCrunch Disrupt에서 제품을 소개할 예정이다. 매일 수만 건의 대화를 시뮬레이션하고, 위험한 상호작용에 모델이 얼마나 잘 대응하는지 평가한다.
왜 중요한가
테스트를 통해 유해한 답변을 찾아낼 수 있다면 정신건강 앱과 기타 챗봇 서비스는 취약한 사용자가 자살 충동이나 심리적 고통을 겪도록 유도하는 일을 막을 수 있다.