Fish Audio推出了Live 3,这是一款可在说话时同时聆听的智能体语音模型。该公司称,模型可以回应来电者、等对方说完,也可以在对方改变想法时停下来。据称,其最快响应时间为186毫秒。
这种设计旨在应对日常通话中不规则的对话节奏。有人可能会在回忆电话号码时停顿,说声“嗯”表示自己在听,也可能在一句话还没说完时修改订单。Fish Audio称,Live 3可以用简短的“嗯嗯”或“好的”回应,而不会抢过话头;遇到简单的附和时,也能继续说下去。
把握时机也是模型能力的一部分
Fish Audio认为,回复快不一定代表时机合适。许多语音智能体需要依靠系统中不同模块来协调语音识别、推理、语音生成和轮流发言。该公司称,Live 3则将对话时机的判断融入语音模型。
Fish Audio联合创始人兼CEO Rissa Cao称,模型经过人类对话训练,能够学习何时回应、等待、作答或停止。该公司的示例包括来电者分段报出一个号码,以及在通话中途更改披萨订单。这些只是Fish Audio提供的演示,并非对Live 3在不同通话或嘈杂环境下表现的独立测试。
在哪里可以使用Live 3?
Fish Audio称,Live 3可通过其Agent Platform和API使用,企业也可选择本地部署。该模型发布时支持英语。该公司表示,客户负责为智能体提供指令、工具和工作流程,Live 3则负责语音生成和对话时机把握。
为什么重要
对于开发预约、订单或客服电话智能体的企业来说,Live 3旨在让来电者可以更正自己的说法或插话,而不必重新开始对话。Fish Audio尚未公布独立性能测试结果,因此该模型处理真实通话的可靠程度仍不明确。