企业级流式语音智能体
探讨低延迟高拟真语音Agent的技术突破与商业价值
0个信源参与该主题的先锋
全部段落
10月8日
10月1日
- Tsung-Hsien (Shawn) Wen 企业语音仍是尚未解决的系统工程问题，即便语音组件越来越便宜、越来越易得。 早期 ChatGPT 封装产品只是把 ASR、LLM 和 TTS 串起来，但 Wen 认为，语音还引入了时间、噪音、打断和适应能力：这是“向真实世界迈出一步”（one step to the real world），智能不只是对说了什么进行推理，还要回应对方是如何说的。
- 最有胜算的架构，可能是在听取和轮次控制上采用端到端方案，同时保留文本作为企业可控接口。 Wen 的音频原生模型直接流式接收音频，判断用户是否已经说完，再输出答案或工具调用、引用，最后生成转写文本。文本输出保留了安全护栏和可审计性，也不必让系统等转写完成后再响应。
- 生产环境对话数据构成难以防守的优势，因为干净实验室音频几乎不会覆盖真正棘手的场景。 他们的平台在客户同意的前提下，从银行、公用事业、物流、餐饮、酒店、零售和外呼销售等联络中心部署中获取数据，删除个人信息并植入合成身份。训练会刻意加入串音，以及“背景里有婴儿哭声”时说出一个名字等组合场景；Wen 表示，旧式降噪流程可能反而让新模型变差，因为它制造了一个“过度清洁” …
- 延迟的核心首先是轮次控制，而不是模型原始推理速度。 固定的端点阈值要么会打断说话较慢的人，要么让没耐心的用户干等；音频原生模型则可以结合语速和未完成的语义，识别句中停顿。公司还结合预计算、将模型自托管以降低 P95 网络延迟，以及“延迟预算推理”，判断多想1秒是否真的能显著改善答案。
- 语音身份会直接影响性能和信任，但企业仍警惕过度拟人化。 通用声音会继承失灵 IVR 系统的负面印象，而适度的地域特征——例如英国纽卡斯尔口音——可以传递熟悉的人类服务场景。公司曾发现，最自然的英语声音其实是让一个法语声音强行说英语：“正是那种不完美，才让它变得真实。”
- 企业价值层正在从模型获取转向评估与控制。 Wen 批评忽视延迟、工具调用、引用、姓名识别和任务完成度的语音基准；他的公司改用真实对话数据评估，并计划在“未来1-2个月”内发布该基准。企业可以在不同模型 API 之间切换，但很多企业仍希望拥有自己的测试框架，将品牌、工作流、安全护栏和审计轨迹编码其中。