文档摘要

高级文本生成 高级文本生成超越了朴素的自回归解码，旨在提升质量、可控性和速度。本文件涵盖文本扩散模型（D3PM、MDLM）、OCR、用于对齐的 RLHF 和 DPO、长上下文方法（RoPE 缩放、环形注意力）、检索增强生成，以及用于加速推理的投机解码。 标准的自回归生成（第 4 节）从左到右一次一个词元地产出文本。这简单有效，但它本质上是串行的，无法做全局规划，对输出的控制也很有限。本文件讲的是超越朴素自回归解码的那些方法：用于文本的扩散模型、光学字符识别、通过人类反馈实现的可控生成、处理长上下文、检索增强生成，以及用于加速推理的投机解码。 文本扩散模型（text diffusion models）把扩散框架（为图像引入于第 8 章）应用到离散文本上。

---