3.3.2 量化支持（AWQ、GPTQ、FP8）

文档摘要

3.3.2 量化支持（AWQ、GPTQ、FP8）在大模型推理的工程化落地战场上，量化早已不是“锦上添花”的可选项，而是决定服务延迟、显存占用与吞吐量的生死线。当你在中看到字段，或在调用中传入时，你触摸到的并非一个抽象开关，而是一整套精密协同的数值压缩引擎——它在FP16张量的肌理之上，用比特为刀，逐层雕琢权重分布；在矩阵乘法的洪流之中，以校准为锚，稳住梯度与精度的微妙平衡。本节不谈泛泛而谈的“量化能降显存”，我们要亲手拆解AWQ的通道级敏感度分析如何避开梯度陷阱、GPTQ的逐块Hessian逼近怎样绕过二阶导数计算、FP8的E4M3与E5M2双格式切换为何必须绑定硬件调度器——这不是参数配置手册，而是一份面向GPU内核开发者的量化系统实现白皮书。