内容摘要
投机解码EAGLE·让小模型带大模型跑 灏 灏天文库 · AI 与大模型 第 14 期 · 第二季连载 AI 与大模型 · 第 14 期 · 第二季第 6 期 投机解码 EAGLE， 让小模型带大模型跑 草稿-验证 · 接受率决定加速 一句话结论： 投机解码用小模型猜几个 token，大模型一次验证 。猜对的直接采纳，猜错的从错处重算。大模型还是只跑一次但产出多个 token，吞吐翻倍。EAGLE 让草稿模型复用大模型的隐藏特征，接受率从 60% 提到 80%+，加速更猛。 ⏱ 约 9 分钟 🎯 想让大模型推理吞吐翻倍的人 📦 源：ai-engineering-from-scratch §11 01 反共识：不是并行生成，是并行验证 投机解码不是让两个模型同时生成，而是让小模型先猜、大模型批量验证——大模型一次前向本来就要算所有位置，验证几乎免费。 流程：小模型（draft）自回归猜 k 个 token（如 4 个）。