Shirali NigamとArul Nigamのきょうだいが創業したCircuit Breaker Labsは、あらゆる年齢層や言語、スラングを使うユーザーを模したテストプラットフォームを開発している。AIチャットボットを検証し、心理的に危険な応答を引き出すのが目的だ。同社は2026年10月13~15日にサンフランシスコで開かれるTechCrunch Disruptで製品を売り込む。毎日、数万件の会話をシミュレーションし、リスクのあるやり取りへの対応力を基にモデルを評価している。
なぜ重要か
有害な応答を検出できれば、メンタルヘルスアプリなどのチャットボットサービスが、支援を必要とするユーザーに自殺を促したり、苦痛を与えたりする応答を避けられる。