第4章 量化压缩与硬件优化：精度的价格与性能的来源

第4章 量化压缩与硬件优化：精度的价格与性能的来源

本章要回答的三个问题：模型压到 INT8 能快多少、掉多少精度、怎么把这笔交易做稳？剪枝与蒸馏这些「动结构」的手段什么时候值得上？同样的模型换设备到底差多少、哪些参数能把设备潜力真正榨出来？

为什么会有这一章

第 3 章结束时你有了姿势正确的推理骨架，但多数项目到这里都会撞上同一堵墙：模型太大、推理太慢，延迟预算不够分。本章回答「变快」的问题——但它的立场与「调参玄学」相反：性能优化是一笔笔可以核算的交易，用多少精度换多少速度，价格与收益都要先谈清楚再成交。量化是最常用的一笔交易，我们把它放在最前面讲透；剪枝与蒸馏是更激进的手术，给出选择纪律；硬件侧的实测对照则告诉你，有时候问题根本不在模型，而在你把模型编译到了不合适的设备上。

这一章也是全书「实证精神」最密集的一章：每一个论断后面都有实测数字或排查路径，因为优化的第一戒律就是先测量后动手——凭感觉优化，时间花光收益还没出现。

读完能解决什么

对照开头的三个问题，读完本章你应当能：用 NNCF 的训练后量化把模型压到 INT8，说清缩放因子与校准集如何决定成败，并对自己的模型族给出合理的掉点预期；判断自己的项目该停在量化、进阶剪枝还是直接换轻量骨干，避免在低兑现率的手术上烧时间；用一组同环境实测回答「该不该换设备」，并把 FP16 提示、指令集路径、形状收敛这些设备侧杠杆用起来；最后，在量化掉点真的发生时，按 4.4 节实录的标准路径逐层定位——先拆指标、再查数据、逐层对质、按成本梯度修复，而不是从重装环境开始。

各节怎么分工

前三节是「理论加工具」，第四节是实战把前三节串成一次真实作业——读的时候请把它当成前三节的综合练习，对照着回查方法出处。

读完自测：五问检验

一问：量化的两个核心参数是什么？「刻度变粗」的直觉描述对应它们各自的作用吗。二问：你的模型族在 4.1 节的经验表里站在哪一档？INT8 的合理掉点预期是多少——答不出这一问，说明还没完成开压前的预期管理。三问：非结构化剪枝的压缩率远高于结构化，为什么性能收益反而常常归零？「硬件看不看得见」这个判据怎么用。四问：4.3 节的实测表里，哪个场景 CPU 反超了核显？这推翻了哪个常见直觉。五问：量化掉点后，4.4 节排查路径的前三个动作分别是什么？为什么「拆指标」排在「怀疑工具」前面。第三问与第五问是本章的两根支柱——前者拦住错误的优化路径，后者兜住正确的修复顺序。

本章高频追问

两个阅读前的高频疑问先答掉。一问：「我的项目目前性能够用，需要学量化吗？」——够用就好是正确的工程态度，但 4.3 节的设备实测与 4.4 节的排错路径与性能余量无关：前者决定你的部署选型，后者是你迟早要用的故障手册；量化部分可以缓读，这两节建议现在就读。二问：「量化听起来是随机掉点，能信得过吗？」——掉点不随机，它由模型结构、校准数据与量化配置三个可管理的变量决定，这正是本章用一整节实录讲排错的原因：把「碰运气」变成「可诊断」。读完 4.1 与 4.4,你对该不该量化、掉点了怎么办，都会有流程化的答案。

先决条件

需要第 2 章的 IR 与对拍脚本（本章的验证全靠它们）、第 3 章的基准习惯（每次优化前后都要测）。4.1 节会用 NNCF，安装即可，无需训练环境；4.2 节的剪枝与蒸馏会讲清各自的前置条件，没有训练管线的读者可以只读方法边界。硬件实验一台普通笔记本够用，带核显更佳。

往下走到哪

本章优化的是「一次前向」的效率，第 5 章把镜头拉向一种完全不同的负载——以循环与状态为特征的大模型生成。你会看到量化的思想在那里以「只压权重」的形式重生，而第 3 章的调度知识则要接受「首字延迟与生成吞吐」这对新指标的考验。