文档摘要

3.2 数值稳定性与共享边界：PagedAttention 在共享场景下结果还准吗 读者读完这一节，应该能回答一句：PagedAttention 只改变了 KV Cache 的“内存排布”，没有改注意力的“数学”，只要归一化基准一致，分页结果与连续结果数值等价；而在并行采样 / beam search 这类共享前缀的场景里，它的正确性边界是“共享的是已生成的前缀，一旦序列分叉便各自私有、互不影响”。 第 3.1 节解决了“为什么快”。这一节解决更让人睡不着的问题：“它改了内存排布、还把 KV 切成块、多序列共享，那算出来的东西还是原来那个注意力吗？” 这种担忧非常合理——在工程里，“快但算错”比“慢但正确”更可怕。本节给你明确结论、边界条件，以及一套上线前可操作的验证方法。 3.2.

---