4.2.1 Prefill 阶段：Prompt 解析与并行计算

文档摘要

4.2.1 Prefill 阶段：Prompt 解析与并行计算 4.2.1 Prefill 阶段：Prompt 解析与并行计算在大语言模型（LLM）推理的宏大叙事中，Prefill 阶段往往被视为那个“沉默的巨人”。它不像 Decode 阶段那样，以流式输出的形式直观地与用户交互，而是隐身在用户按下回车键、系统陷入短暂沉思的那几百毫秒里。作为推理生命周期的起点，Prefill 阶段承担着将人类自然语言转化为机器可理解的语义向量，并完成极其密集的并行计算任务。对于追求极致性能的工程实践而言，这一阶段不仅是吞吐量的瓶颈所在，更是显存带宽与计算算力博弈的主战场。当我们深入剖析这一阶段，会发现它本质上是一个从“空间”换取“时间”的过程。