Oossa

Circuit Breaker Labs, 정신건강 챗봇 안전성 테스트 출시

이 스타트업은 사용자가 접하기 전에 유해한 AI 답변을 찾아내기 위해 샌프란시스코에서 열리는 TechCrunch Disrupt에서 ‘충돌 시험용 더미’ 방식의 챗봇 시뮬레이션을 시연할 예정이다.

짧은 소식작성: Oossa 게시일: 1 분 읽기

Shirali와 Arul Nigam 남매가 설립한 Circuit Breaker Labs는 모든 연령대와 언어, 속어를 구사하는 사용자를 모의해 AI 챗봇이 심리적으로 위험한 답변을 하는지 점검하는 테스트 플랫폼을 개발하고 있다. 회사는 2026년 10월 13~15일 샌프란시스코에서 열리는 TechCrunch Disrupt에서 제품을 소개할 예정이다. 매일 수만 건의 대화를 시뮬레이션하고, 위험한 상호작용에 모델이 얼마나 잘 대응하는지 평가한다.

왜 중요한가

테스트를 통해 유해한 답변을 찾아낼 수 있다면 정신건강 앱과 기타 챗봇 서비스는 취약한 사용자가 자살 충동이나 심리적 고통을 겪도록 유도하는 일을 막을 수 있다.

이 기사가 도움이 되었나요?
공유

다음 읽을거리

Oossa · 뉴스레터

이번 주 AI, 쉽게 정리

매주 월요일, 알아둘 만한 소식을 쉬운 말로. 무료, 스팸 없음.