5.1 量化决策清单与实战避坑：开工前问自己四件事

5.1 量化决策清单与实战避坑：开工前问自己四件事

写到这一章，我把前面四章关于 DeepSeek V4 INT4 量化的内容翻了一遍，发现一个事实：真正决定你量化项目成败的，不是某个具体技巧（比如选 AWQ 还是 GPTQ），而是开工前你有没有把几个根本问题想清楚。我自己做过大概十几次量化部署，从最早的 LLaMA 到现在的 DeepSeek V4，每次失败回头看，根因都不在执行层，而在决策层——一开始就没问对问题，导致后面所有努力都在错误的方向上跑。

所以这一节我不打算重复"AWQ 比 GPTQ 在某些场景略好"这种细节（那是前面章节的内容），而是把整个量化决策收敛成一张四问清单，外加一份我自己踩过、也帮别人排查过的避坑表。你能把这张清单当作下次开工前的工作底稿。

第一问：我的目标硬件，显存和内存到底多大？

这问题听起来像废话，但我见过太多团队答不上来。问他们"目标硬件是什么"，回答"一张 A100"；再问"是 40GB 还是 80GB 版本"，就卡住了。但这恰恰是量化决策的起点——你得先把硬件能力算清楚，才能判断要不要量化、量化到什么位宽。

我自己列一张"硬件账单"的习惯是这样的。先看显存（GPU）和内存（CPU）的物理容量，再看带宽（决定了推理快慢），最后看算力（INT4/INT8 tensor core 支持情况）。对于 DeepSeek V4 这种千亿参数级的模型，FP16 权重要 1TB 以上，没有任何单卡能装下，所以量化几乎是必然选择——但量化到几 bit、用什么方案，就完全取决于你具体那张卡的容量。

举个真实例子。我帮一个团队做过部署，他们硬件是消费级的 RTX 4090（24GB 显存）+ 64GB 内存。算账：DeepSeek V4 的 MoE 版本全量 FP16 是装不下的（任何位置都装不下），就算量化到 INT4，权重也要几百 GB，纯 GPU 路线走不通，只能上 GGUF + llama.cpp 走 CPU/GPU 混合推理。同样的团队换上 A100 80GB 后，方案就完全不一样了——可以用 GPTQ/AWQ 走纯 GPU，并发能力直接上一个台阶。所以第一问的本质，是用硬件算账把方案空间砍掉一半。

坑也很直接：很多教程会告诉你"INT4 量化让模型变 1/4 大"，但实际不是这么算的。INT4 量化只压缩权重，激活值通常还是 FP16，而且还有 KV Cache、临时计算 buffer 这些没量化的部分。我自己的经验公式是：INT4 量化后总显存占用 ≈ FP16 权重 × 0.3 + 激活值 + KV Cache（这个 0.3 是因为还有部分层保留高精度、还有量化元数据开销）。照这个公式算，你才能判断那张卡到底够不够。

第二问：我对跨硬件通用性的要求高不高？

这一问决定了你走 GGUF 还是走 AWQ/GPTQ。两个方案的根本差异不在于"谁更好"，而在于它们解决的是不同问题。

GGUF + llama.cpp 的核心价值是跨硬件。同一份 GGUF 文件，能在 NVIDIA 卡上跑、能在 AMD 卡上跑、能在 Apple Silicon 上跑、能纯 CPU 跑、能混合跑。代价是单卡极致性能不如 AWQ/GPTQ，因为 llama.cpp 的 kernel 优化深度比不上专门为某张卡调过的 vLLM/TensorRT-LLM。我自己 GGUF 用得最多的场景是：本地开发调试、跨平台 demo、边缘设备部署、还有那种"我有一台机器但它不是 NVIDIA 卡"的尴尬情况。

AWQ/GPTQ 的核心价值是单卡极致性能。它们假设你跑在固定的 NVIDIA GPU 上，所以 kernel 可以用上 tensor core、可以用上专门优化的反量化路径，单卡吞吐比 GGUF 高出 30-50% 不止（看具体场景）。代价是绑死硬件，换硬件基本要重量化或者换框架。

我帮团队决策的时候，会问一个直白的问题："你的部署目标是一个固定环境，还是要跑在很多不同的机器上？"前者选 AWQ/GPTQ，后者选 GGUF。看似简单的判断，但真的有人选错——有个团队一开始选了 GPTQ，结果后来要部署到一批 AMD 卡的机器上，整个量化方案推倒重来，浪费了两周。

第三问：我的领域任务对精度敏感吗？

INT4 量化不是无损的，但精度的损失在不同任务上表现差别巨大。这也是前面章节反复强调"别只看平均 perplexity"的原因。

我自己测过的体感是：开放式对话、创意写作、通用 QA 这类任务，INT4 量化几乎察觉不到质量下降，BLEU/ROUGE 这类指标掉 1-3 个点，但人感差异不明显。但有几类任务特别敏感：数学推理（GSM8K 这类）、代码生成、严格格式输出（比如 JSON）、小语种、还有那些需要细粒度区分的领域（医疗、法律）。这些任务 INT4 量化后掉点可能很严重，我见过 GSM8K 从 60 掉到 45 的极端案例。

决策方法不是"我猜这个任务敏感"，而是一定要做回归测试。前面章节讲过怎么做：准备一组覆盖你业务场景的测试集（至少几百条），量化前后各跑一遍，用你业务的评估指标（不是通用的 perplexity）对比。我的标准是：业务指标下降超过 5% 就要警觉，超过 10% 基本不能上生产，要么换更高位宽（INT8）、要么上混合精度。

混合精度是 INT4 量化里值得专门说的方案。简单讲就是——不是所有层都量化到 4bit，那些对精度敏感的层（通常是首尾几层、attention 的某些投影层、还有输出 logits 那层）保留 FP16，其他层量化。AWQ 框架支持 per-layer 配置，调好了能在几乎不损失精度的前提下保留 INT4 的绝大多数收益。但混合精度的调优本身是个耗时活——你要逐层试、逐层测，找到那个"刚好不损失精度"的临界配置。我的经验是，第一次做混合精度至少留三天时间打磨，不要指望一晚上搞定。

第四问：我有没有自己的回归测试集，而不是只看平均指标？

这一问是兜底，也是我最看重的一问。前面三问帮你选定方案，这一问帮你确认方案靠不靠谱。

我自己踩过最大的坑，就是早期量化一个模型，看了下平均 perplexity 还行就上线了，结果业务方反馈说"模型现在经常输出格式错误的 JSON"。平均 perplexity 没问题，但具体到 JSON 输出这个能力上，量化造成了显著退化——这种退化只有用业务相关的测试集才能抓到。

所以我现在每次量化必做的事：建一份覆盖业务场景的测试集，至少包含五类样本——正常业务请求、边界情况、长上下文、多轮对话、还有"模型历史上犯过错的"几条。量化前后跑同样这份集子，对比输出质量。这套流程比看任何 benchmark 都准，因为它针对的就是你真实业务。

一个反直觉的建议：测试集不要太大，但要持续积累。一百条精挑细选的样本，比一万条随机样本有用得多。每次模型升级、每次量化方案调整，都把这次发现的失败 case 加进测试集，慢慢攒。我现在有些项目的测试集已经积累了几千条，每次量化调整都能精准定位回归，这套资产比任何量化技巧都值钱。

一份开工前的决策表

把四问综合起来，我自己开工前会画这样一张决策表：

• 硬件账算完了吗？（显存 + 带宽 + 算力，INT4 总占用按 0.3×FP16 估）
• 跨硬件需求高吗？（高 → GGUF，低 → AWQ/GPTQ）
• 任务精度敏感吗？（敏感 → 准备混合精度方案 + INT8 备选）
• 有自己的回归测试集吗？（没有 → 先建，再开始量化）

这四问回答完，方案空间就被砍到很小了，剩下的就是执行——而执行的细节，前面四章已经讲透了。

实战避坑清单

执行层的坑我也列一份，按发生频率排序：

坑一：量化校准集太小或者不匹配业务。AWQ/GPTQ 都需要校准集来估计激活分布，校准集太小（少于 128 条）或者分布和业务差太远，量化后的精度损失会被放大。我的建议是校准集 512-1024 条，分布尽量贴近真实业务。

坑二：版本不匹配。AutoAWQ、auto_gptq、bitsandbytes、transformers 这几个库的版本组合非常挑。我遇到过 awq 0.2.0 配 transformers 4.40 跑通，升到 awq 0.2.1 就报 KeyError: 'qweight' 的情况。建议把版本组合写死在 requirements.txt，不要随便升。

坑三：量化后忘测实际延迟。很多人量化完只测显存占用，没测延迟，结果发现虽然显存省了，但因为反量化开销，实际推理反而更慢。这通常发生在硬件不支持 INT4 tensor core 加速的情况下（比如一些较老的卡）。所以量化完一定要测端到端延迟，不要只看显存。

坑四：KV Cache 没量化但被当成量化收益。有人吹"INT4 量化让模型省 70% 显存"，但仔细一看只算了权重，没算 KV Cache。KV Cache 还是 FP16 的话，长上下文场景下它反而占大头，量化省的那部分被稀释。要进一步省显存得量化 KV Cache（FP8 KV Cache 现在主流框架都支持）。

坑五：量化模型和原始模型行为不一致。同一份 prompt，量化前后输出完全不一样，连风格都对不上。这通常是量化配置或者反量化路径有 bug，不是模型本身的问题。排查方法是用极简 prompt（比如 "Hello"）逐层对比 logits，找到差异最大的层。

坑六：以为量化是一次性的。模型升级、业务变化、硬件更换，都可能需要重量化。把量化流程脚本化、参数化，能让你每次重新量化都用一天而不是一周。

最后说一句

这一节的核心信息其实只有一条：量化不是技术活，是工程决策活。技术细节（怎么调 AWQ 的 w_bit、怎么写混合精度配置）前面章节都讲了，但能不能用对、能不能不踩坑，靠的是开工前把这几个根本问题想清楚。我自己量化做多了以后，越来越觉得这套四问清单比任何具体技巧都重要——技巧可以查文档，决策错了就是方向错了，越努力越偏。

下一节我会聊聊进阶方向——MoE 专属量化、多卡分片、INT2 这些更激进的探索。但提醒一句，进阶方向的前提是基础方案你能跑稳。基础没打好就去追前沿，是新手最容易掉进的陷阱。