5.1.2 静态量化 (Static Quantization) 与校准 (Calibrat...

文档摘要

5.1.2 静态量化 (Static Quantization) 与校准 (Calibration) 静态量化，不是给模型“瘦身”，而是给它的计算神经元装上一把精准的游标卡尺——它不改变模型结构，不重训参数，却要求你在千分之一秒内，为每一层激活张量与权重张量，标定出最能代表其动态范围的最小值与最大值。这把卡尺若偏了0.5%，推理精度可能跌掉3个点；若卡得太紧，低比特下溢出就如雪崩；若卡得太松，宝贵的8位甚至4位整数空间便沦为“大号浮点”，徒增访存开销而无实质加速。这，就是ORT（ONNX Runtime）静态量化中那场无声却惊心动魄的校准战役。