第4章 · 低精度推理与量化技术（Quantization）

第4章 · 低精度推理与量化技术（Quantization）

章序导读

当参数量以年均数百个百分点膨胀，而算力与功耗预算被压缩到极限，量化便不再是推理流水线末端可选的"加速开关"，而是贯穿模型表达、编译调度、内核生成与硬件映射的架构中枢。本章按"数值地基—训练期介入—部署期落地"的递进逻辑组织：先建立对数值表示与精度损失的数学直觉，再理解如何在训练阶段让模型适应量化（QAT），最后掌握在冻结模型上完成量化部署的方法论（PTQ）。三节内容共同回答一个核心问题：在资源约束下，如何以最小的精度代价换取最大的推理增益。

学习目标

1. 理解 FP32、FP16、TF32、INT8 四种数值格式的结构差异、动态范围与精度特性，能够解释"为什么 FP16 比 FP32 快、为什么 INT8 有时会失效"。
2. 掌握四类精度误差源（表示误差、计算误差、传播误差、校准误差）的成因、传播路径与缓解手段。
3. 弄清伪量化算子与直通估计器（STE）的工作原理，能够说明 QAT 为何优于事后修补。
4. 熟悉 Min-Max、Entropy（KL 散度）、EMA 三种校准算法的取舍，能够独立完成一次 TensorRT INT8 引擎的构建与精度验证。
5. 具备在具体任务（图像分类、目标检测、大模型推理）中判断"该用 QAT 还是 PTQ、该量化到几比特"的决策能力。

章节地图

三条主线相互呼应：4.1 回答"误差从哪里来"，4.2 回答"如何从源头规避"，4.3 回答"如何在约束下落地"。若时间有限，建议至少完整掌握 4.1 的误差归因框架与 4.3 的 trtexec 校准流程，二者足以支撑绝大多数生产级量化任务；若模型对精度极度敏感或需要低于 INT8 的位宽，则应进一步深入学习 4.2 的 QAT 机制与混合精度策略。量化不是削足适履，而是为不同场景定制精度契约——这正是本章希望传递的方法论内核。

子章节

• 见本章各节文件名