9.1.1 推理加速算法的快速集成（如 Speculative Decoding）

文档摘要

9.1.1 推理加速算法的快速集成（如 Speculative Decoding）在大模型推理的战场上，延迟不是敌人，而是我们尚未驯服的野马；吞吐不是目标，而是必须被精确计量与调度的稀缺资源。当一个70亿参数的LLM在A100上单次生成512个token需要380毫秒，而用户端可接受的首token延迟阈值是120毫秒——这中间的260毫秒缺口，不是靠堆显存或换卡就能填平的。它呼唤的，是一种算法级的时序重排：不等待主干模型逐token“踱步”，而是让轻量模型先行“探路”，再由主干模型做一次性的、高置信度的批量验证与修正。这就是Speculative Decoding（推测解码）的底层逻辑：它不是更快地跑完一条路，而是用两条并行路径重构了推理的时空结构。