4.1.2 训练中量化（QAT）与 NNCF 集成

文档摘要

4.1.2 训练中量化（QAT）与 NNCF 集成在深度学习模型落地的工业现场，我们常常遭遇这样一种令人窒息的悖论：一个在GPU服务器上跑得飞快、精度惊艳的Transformer大模型，一旦部署到边缘端的Jetson Orin或车规级TDA4芯片上，便像被施了定身咒——吞吐骤降五倍，延迟飙升至不可接受的200ms，功耗曲线更是陡然拉出一道刺眼的尖峰。此时，工程师们的第一反应往往是“剪枝”或“蒸馏”，但这些方法治标不治本：剪枝破坏结构稀疏性，蒸馏依赖高质量教师模型且泛化脆弱。真正能直击要害的，是让模型从训练源头就学会用低比特数字思考——这正是训练中量化（Quantization-Aware Training, QAT）的核心哲学。