Fish Audioは、話しながら相手の声を聞くエージェント向け音声モデル「Live 3」を発表した。同社によると、相手に相づちを打つ、話し終えるのを待つ、話の方向が変わったら発話を止めるといった対応ができる。報告されている最短応答時間は186ミリ秒。
こうした設計は、日常の電話で見られる不規則な会話のリズムに対応することを狙っている。電話番号を思い出しながら間を置いたり、聞いていることを示すために「うん」と言ったり、文を言い終える前に注文を変更したりすることがある。Fish Audioによると、Live 3は会話を乗っ取らずに「うーん」や「はい」と短く相づちを打ち、簡単な相づちには発話を続けることもできる。
タイミングもモデルの一部
Fish Audioは、返答が速くても、タイミングが適切とは限らないと説明する。多くの音声エージェントは、音声認識、推論、音声生成、発話の順番の調整を、システム内の別々の要素で連携させている。同社によると、Live 3では会話のタイミングを音声モデルに組み込んでいる。
Fish Audioの共同創業者兼CEO、Rissa Caoによると、このモデルは人間同士の会話で学習し、いつ相づちを打ち、待ち、応答し、発話を止めるかを学んだ。同社が示した例には、電話をかけた人が番号を区切って伝える場面や、ピザの注文を途中で変更する場面がある。ただし、これらはFish Audioによるデモであり、さまざまな通話や騒がしい環境でのLive 3の性能を独立して検証したものではない。
Live 3はどこで使える？
Fish Audioによると、Live 3は同社のAgent PlatformとAPIから利用でき、企業向けにはオンプレミスでの導入にも対応する。提供開始時に対応する言語は英語。エージェントに必要な指示、ツール、ワークフローは顧客が用意し、Live 3は音声と会話のタイミングを担うという。
なぜ重要か
予約、注文、サポート向けの電話エージェントを構築する企業にとって、Live 3は、電話をかけた人が言い直したり割り込んだりしても、会話を最初からやり直さずに済むよう設計されている。ただし、Fish Audioは独立した性能検証の結果を公表しておらず、実際の通話でどれほど確実に対応できるかはまだ分からない。
