4.3 训练后量化（PTQ, Post Training Quantization）

4.3 训练后量化（PTQ, Post Training Quantization）

本节摘要：SOURCE 4.3：当我们在TensorRT的推理流水线上按下“加速”键，真正撬动性能跃迁的支点，并非仅仅是CUDA核心的堆叠或内存带宽的拓宽——而是那场静默却惊心动魄的数值革命：…

PTQ 的本质：在零梯度条件下重铸数值

训练后量化（Post-Training Quantization, PTQ）要求在不触碰训练流程的前提下完成数值重铸：权重冻结、结构固定、仅凭有限校准样本。它面对的是"零梯度、零标签、零再训练"的三零约束，却要逼近 QAT 所能达到的精度下限。这决定了 PTQ 的全部方法论——无法靠梯度修正误差，就只能靠更精准地建模分布。

PTQ 的数学内核是对模型激活值与权重值联合分布的一次有损压缩与重映射。以卷积层输出张量 A 为例，INT8 量化即 A_int8 = clip(floor(A / s + z), -128, 127)，其中 s 为尺度因子，z 为零点偏移。整个 PTQ 过程的核心，是为每一层（甚至每个通道）的 A 和权重 W 精准估计最优的 (s, z) 对。难点在于这些分布并不静态：同一层在不同输入样本下激活的动态范围可相差两个数量级，因此 PTQ 绝非"一刀切"的全局缩放，而是分层、分通道、甚至分张量维度的分布式测绘工程。

其技术框架可解构为三个相互咬合的齿轮：**校准（Calibration）**以有限样本为探针观测各张量的真实分布；量化参数求解基于观测数据求解使量化误差最小化的 s 与 z；整型推理图构建将浮点算子替换为量化等价算子，插入去量化与重量化节点，形成端到端整型流水线。三者环环相扣，任一环节的偏差都会被后续环节放大——其中校准环节最为关键，它如同给模型做一次 CT 扫描，扫描质量直接决定重建精度。

# trtexec 一键完成 PTQ：校准集驱动下构建 INT8 引擎
trtexec --onnx=yolov8m.onnx \
        --int8 \
        --calib=calibration_images/ \
        --calibBatchSize=8 \
        --calibN=1000 \
        --calibMax=2000 \
        --workspace=4096 \
        --saveEngine=yolov8m_int8.engine
​

# 对比 FP16 与 INT8 引擎的精度与延迟，验证 PTQ 收益
trtexec --loadEngine=yolov8m_fp16.engine --shapes=input:1x3x640x640
trtexec --loadEngine=yolov8m_int8.engine --shapes=input:1x3x640x640
# 观测 Average Latency 与 Accuracy 两栏的差异
​

校准：用有限样本丈量无限分布

校准直面一个根本矛盾：如何用数百张图像刻画模型在真实世界无穷输入空间上的数值行为。TensorRT 提供多种校准算法，其差异本质在于对"什么是好的分布代理"的不同理解。

Min-Max 校准取校准集中张量的最大值与最小值，令 s = (A_max - A_min) / 255，简洁高效但极易被离群值污染——一张过曝图像可能让整层的 scale 膨胀 3 倍，导致其余 99% 样本的低位信息全部坍缩。**Entropy 校准（KL 散度校准）**构建归一化直方图，寻找截断阈值 T 使保留的 bin 覆盖绝大多数概率质量，且量化前后分布的相对熵最小——它承认分布存在长尾，主动放弃极端值以保主体精度，这正是 TensorRT 默认的 INT8 校准策略。EMA 校准在逐样本前向过程中以滑动平均更新统计量，隐含模型状态具有时间连续性的假设，对视频流或时序模型更鲁棒。

2023 年 MIT 与 NVIDIA 联合研究显示：在 ResNet-50 上 Entropy 校准比 Min-Max 平均提升 0.82% Top-1 精度，但在超分辨率任务中 EMA 反而领先 0.35%——校准不是技术选择，而是任务建模，你选择的校准器本质上是你对下游任务数据分布的先验信念。校准集的构造同样关键，行业实践要求满足"三同"原则：同源（相同来源域）、同质（相同传感器与噪声模型）、同构（相同宽高比与分辨率）。为车载摄像头部署模型，校准集必须来自同型号 CMOS 传感器、相同光照条件下的道路视频帧，而非 ImageNet 通用图像。

静态量化、动态量化与混合量化

校准完成后，下一个抉择是量化参数固定不变（静态）还是随输入实时调整（动态）。静态量化是 TensorRT PTQ 的默认范式，所有 s 与 z 在校准阶段一次性求解并固化于引擎，推理时零额外开销，延迟、内存、功耗均可在编译期精确建模，天然适配自动驾驶等硬实时场景；代价是用空间换时间，为应对最坏情况预留冗余，导致常规样本的有效比特位宽缩水。动态量化将部分 scale 的计算推迟到运行时，典型如 LSTM/GRU 的隐藏状态量化，Ampere 及更新架构通过专用 INT8 scale broadcast 单元实现微秒级 scale 切换，动态开销低于 0.3% 吞吐损耗；但动态性必须与算子语义深度耦合——并非所有张量都适合动态，只有那些"变化可解释、影响可隔离"的张量才配得上这份灵活性。

因此静态与动态并非对立，而是同一枚硬币的两面。TensorRT 的先进实践往往是混合量化：主干网络采用静态量化保障基础稳定性，对特定敏感模块（如检测头分类 logits）启用动态 scale，形成精度-效率的帕累托前沿。PTQ 的终点也不是生成一个 engine 文件，而是建立一套覆盖"模型-数据-硬件-时间"四维的量化可信体系——验证阶段需检查跨硬件一致性（同一引擎在 A100 与 Orin 上精度差异是否异常）、长时序稳定性（持续运行 72 小时后精度是否缓慢下滑）与对抗鲁棒性迁移（量化是否放大对抗扰动在低位比特的效应）。TensorRT 10.0 引入的 Quantization Profiler 工具链正是对此的回应：它不只报告精度，更可视化每层量化误差热力图、各通道 scale 分布散点图与不同校准策略的 Pareto 前沿曲线，让工程师基于证据决策而非盲目调参。

锚点定位

故障场景切入 4.3 训练后量化（PTQ, Post Training Quantization）：先固定输入与硬件环境，再定位瓶颈属于图优化、量化还是 I/O。

• 当我们在TensorRT的推理流水线上按下“加速”键，真正撬动性能跃迁的支点，并非仅仅是CUDA核心的堆叠或内存带宽的拓宽——而是那场静默却惊心动魄的数值革命：将浮点世界里丰饶却沉重的32位实数，压缩为紧凑而锋利的8位整数。
• 如果说第4.1节中我们站在高处俯瞰量化全景，第4.2节里厘清了对称/非对称、逐层/逐通道等基本范式，那么此刻，我们已步入操作台前，指尖即将触碰到PTQ真正的神经中枢。
• 训练后量化（PostTraining Quantization, PTQ），正是这场革命中最富现实张力的一章——它不触碰模型训练过程的神圣契约，却要在冻结权重、固定结构、仅凭有限校准样本的前提下，完成一场近乎“外科手术式”的数值重铸。

⚠️ 常见坑：只记结论不记适用边界——超出 SOURCE 所述浓度、尺度或版本范围，规律可能失效。

💡 关键直觉：4.3 训练后量化（PTQ, Post Training Quantization） 应能对应至少一项可复现实验或算例。

要点串联

• 主干：4.3 训练后量化（PTQ, Post Training Quantization） 连接「输入—过程—输出」
• 边界：对照 SOURCE 中的参数与版本条件
• 方法：用表格对齐假设与观测