第3章 · 实时语音AI系统构建

第 3 章 · 实时语音AI系统构建

章节摘要：实时语音 AI 是把"用户说话"变成"AI 说话回应"的整条链路做到低延迟。它比文本对话难得多——要先实时把语音转成文字（流式 ASR），把文字送进 LLM，再把 LLM 生成的文字实时合成语音返回（流式 TTS）。三个环节都要流式，且要咬合得严丝合缝，任何一个卡顿都会让对话体验崩坏。这一章先拆流式 ASR 和流式 TTS 各自的管线设计，再讲怎么把它们和 LLM 串成端到端的语音交互系统，重点处理"什么时候开始合成""怎么打断""如何消除可感知延迟"这些工程难题。

学习目标

阅读完本章，你应当能够：

1. 说清流式 ASR 和流式 TTS 的工作原理与延迟来源
2. 设计一个语音活动检测（VAD）触发的流式 ASR 管线
3. 解释流式 TTS 如何把文本分句并行合成来降低首音延迟
4. 搭建"ASR → LLM → TTS"的端到端语音交互架构
5. 处理打断、首音延迟、节流缓冲等实时交互的工程难点

核心概念速览

实时语音交互的延迟预算极紧：从用户说完到 AI 开始发声，超过 1 秒用户就觉得"卡"。每个环节都要流式且要提前启动下一环节。

子章节导航

3.1 流式ASR与流式TTS管线

分别拆解流式 ASR（实时语音转文字）和流式 TTS（实时文字转语音）的内部机制：ASR 的 VAD 触发、分块、增量识别；TTS 的分句、并行合成、首音优先。这两个组件各自做了大量延迟优化。

3.2 端到端语音实时交互架构

把 ASR、LLM、TTS 串成完整的语音对话系统，重点讲组件间的流式咬合、打断处理、首音延迟优化、以及端到端语音模型（如 GPT-4o Realtime）带来的新范式。

子章节之间的逻辑关系

先把两个基础组件（ASR、TTS）各自的流式机制讲透（3.1），这是端到端系统的零件；再把它们组装成完整系统，处理组件间的协同和实时交互的工程难题（3.2）。从零件到整机。

3.1 ASR/TTS 组件  ──►  3.2 端到端系统
（各自怎么流式）        （怎么咬合怎么打断）
​

前置知识与后续延伸

• 前置知识：第 1 章的延迟构成和第 2 章的流式推理基础，尤其是 TTFT 和流式输出的概念。
• 后续延伸：本章的语音管线偏云端部署。第 4 章会讲端侧推理，包括语音模型怎么压到手机上离线运行。

语音交互范式的三次更替

理解本章技术选型，需要知道实时语音 AI 走过的三个阶段。第一阶段是传统级联管线：VAD 检测说话结束，整段音频送 ASR 转文字，文字进 LLM，回复再整段送 TTS 合成。这个范式从电话客服时代延续到 2023 年，延迟以数秒计，但每一环都是成熟组件，工程可控。第二阶段是流式化改造：ASR 边收音边出增量识别结果，LLM 边生成边输出，TTS 按分句并行合成、首句优先播放，把端到端延迟从秒级压到 800 毫秒上下——这一阶段贡献了大量本章要讲的工程技巧（分句切分、双通道 VAD、中断回滚）。第三阶段是 2024 年 GPT-4o Realtime 代表的端到端原生模型：音频 token 直接进模型、语音直接出模型，省掉了级联管线的误差累积和信息丢失（语气、情绪、打断意图在转文字时会全部丢掉），对话延迟进入 300 毫秒级。

但范式更替不等于旧范式退场。端到端模型的算力成本目前仍是级联管线的数倍，可控性也更弱（文字可控、声音可控、说话时机难控），所以生产系统大量采用混合形态：闲聊用端到端模型保体验，业务密集环节（查订单、报数字）切回级联管线保准确。这种"按环节切范式"的架构能力，恰恰要求你同时掌握两代技术——这正是本章两节的分工。

延迟预算怎么分

给一个实用的端到端延迟预算表（目标 1 秒内开口）：VAD 断句判定 100–200 ms（留白太短会截断语尾，太长用户觉得迟钝）、ASR 尾块识别 100 ms、LLM 首句生成 200–300 ms、TTS 首音合成 150–250 ms、网络与协议开销 100 ms。注意预算里最大的弹性项是"断句留白"——它是对话自然感的灵魂：人类对话平均轮次间隔约 200 毫秒，机器若能做到 600 毫秒内接话就有"反应快"的体感。每压 100 毫秒留白，误截断率上升，需要用增量 VAD 加语义完整度判断来兜底。这些数字不是教条，但学会了把体验目标翻译成各组件的延迟预算，团队之间的协作和验收才有共同语言。

预算表之外还要理解"预算的传递性"。每个组件不仅有自己的耗时目标，还决定了下游的启动时机：ASR 最终结果晚到 50 毫秒，LLM 的 TTFT 就顺延 50 毫秒，TTS 和播放全部后移——串联链路里上游延迟是下游的刚性成本，没有协商余地。因此优化顺序有讲究：先攻占预算最大、弹性最大的环节（断句留白、LLM 首句），再谈各组件内部的毫秒级打磨。反过来，验收时要在链路两端分别打时间戳，把"每环节是否守住预算"做成持续输出的对账报表，任何一个环节的超支都当天可见。这些管理动作看似琐碎，却是语音产品从 demo 走向稳定服务的分水岭：demo 阶段人人盯着最亮点，生产阶段拼的是对每一毫秒的去向心里有数。