Oossa

Circuit Breaker Labs、メンタルヘルス向けチャットボットのAI安全性を検査

スタートアップはサンフランシスコで開かれるTechCrunch Disruptで、衝突実験用ダミーのようなチャットボットシミュレーションを披露する。ユーザーに届く前に、AIの有害な応答を検出する狙いだ。

短信著者: Oossa公開日: 1 分で読める

Shirali NigamとArul Nigamのきょうだいが創業したCircuit Breaker Labsは、あらゆる年齢層や言語、スラングを使うユーザーを模したテストプラットフォームを開発している。AIチャットボットを検証し、心理的に危険な応答を引き出すのが目的だ。同社は2026年10月13~15日にサンフランシスコで開かれるTechCrunch Disruptで製品を売り込む。毎日、数万件の会話をシミュレーションし、リスクのあるやり取りへの対応力を基にモデルを評価している。

なぜ重要か

有害な応答を検出できれば、メンタルヘルスアプリなどのチャットボットサービスが、支援を必要とするユーザーに自殺を促したり、苦痛を与えたりする応答を避けられる。

この記事は役に立ちましたか?
共有

次に読む

Oossa · ニュースレター

今週のAIを、わかりやすく

毎週月曜日、知っておきたいニュースをやさしい言葉で。無料・スパムなし。