2.2 校准集：后训练量化靠什么数据定参数

文档摘要

2.2 校准集：后训练量化靠什么数据定参数上一节（2.1）我们把量化的数学内核拆开了：INT4 量化本质是「用一对 scale / zeropoint 把浮点权重线性映射到 16 个整数格子」，而高级方法还会对权重做补偿。可有一个更现实的问题一直悬在那里——这些 scale、补偿系数到底从哪算出来的？如果是训练时量化（QAT），模型在训练过程中自己就把量化参数学出来了。但我们做本地部署，几乎永远用的是后训练量化（PTQ，Post-Training Quantization）：拿到一个已经训好的 FP16/BF16 模型，不重新训练，直接把它压成 INT4。既然不重训，那「定量化参数」这件事，就只能靠额外喂给模型的一小批数据来估计。这批数据，就是校准集（calibration set）。

2.2 校准集：后训练量化靠什么数据定参数

上一节（2.1）我们把量化的数学内核拆开了：INT4 量化本质是「用一对 scale / zero_point 把浮点权重线性映射到 16 个整数格子」，而高级方法还会对权重做补偿。可有一个更现实的问题一直悬在那里——这些 scale、补偿系数到底从哪算出来的？

如果是训练时量化（QAT），模型在训练过程中自己就把量化参数学出来了。但我们做本地部署，几乎永远用的是后训练量化（PTQ，Post-Training Quantization）：拿到一个已经训好的 FP16/BF16 模型，不重新训练，直接把它压成 INT4。既然不重训，那「定量化参数」这件事，就只能靠额外喂给模型的一小批数据来估计。这批数据，就是校准集（calibration set）。

读完整节，你应该能用一句话回答「校准集是干什么的」：它是 PTQ 唯一的信息来源——模型通过这一小批样本，去估计该用多大的 scale、哪些权重需要补偿，从而在不重训的前提下，尽量保住原本的智能。

一、为什么后训练量化非得「看」数据

先建立一个反直觉的认知：量化参数不是凭空拍脑袋定的，也不是只取决于权重本身。

以对称量化的 scale = max(|w|)/7 为例，这看似只用了权重的最大值，似乎「不需要数据」。但那只是最粗糙的 RTN。一旦你进入 GPTQ / AWQ 这一档，事情就变了：

GPTQ 类方法要知道「每个权重有多重要」。它依赖权重的二阶信息（Hessian 逆），而这个量必须由模型在真实前向传播中、跑过一批输入才能估计出来——你喂什么输入，估计出来的「重要性」就长什么样。
AWQ 类方法要知道「哪些权重对应大激活」。它观察的是「权重 × 激活」的乘积贡献，激活来自输入数据，所以同样需要喂样本。
混合精度 / 补偿类方法要知道「量化误差会在哪层、哪个通道放大」，这也要靠激活统计量。

一句话：权重是死的，但「怎么量化权重损失最小」是数据相关的。 校准集就是模型在不重训的前提下，唯一能「偷看」真实分布的机会。没有它，所有高级量化方法都会退化成粗糙的 RTN，INT4 质量会断崖下跌。

下面这张图串起整个 PTQ 的信息流：校准集是源头，量化参数是产物。

```mermaid flowchart LR W[已训好的 FP16 权重] --> Q[量化模块] C[校准集一小批样本] --> Q Q --> S["估计 scale / Hessian / 激活统计"] S --> P[生成量化参数 + 补偿] P --> M[INT4 量化模型] ```

二、校准集到底在帮我们算什么

不同方法「看」校准集的角度不一样，但归根结底都在估计两件事：权重的重要性 和 激活的分布。

1. 估计 scale 与 clip 范围（所有方法都要）
最基础的一层，就是从校准数据的前向激活里，统计每层、每通道、每组的数值范围，据此定 scale 和 clip 阈值。校准数据分布越接近真实推理分布，定出来的格子越「贴」真实数据，舍入/截断损失越小。

2. 估计二阶重要性（GPTQ 路线）
GPTQ 的思想源自 OBQ（Optimal Brain Quantization）：当一个权重被量化、产生误差时，这个误差会「污染」后续的未量化权重。它用一个基于激活的 Hessian 矩阵，把这层误差分配到还没量化的权重上做补偿。Hessian 怎么来？就从校准集前向传播的激活里估计。校准集越有代表性，Hessian 越准，补偿越到位。

3. 定位「显著权重」（AWQ 路线）
AWQ 的核心观察是：绝大多数权重对结果影响很小，只有约 1% 的「显著权重（salient weights）」是命门，而这些权重恰好对应大的激活值。所以 AWQ 不去直接量化这些权重，而是给它们通道级地乘一个缩放系数、把它们的数值「挪」到一个更易量化的区间，量化完再缩放回来。判断「哪个权重对应大激活」，靠的就是校准集前向得到的激活幅值。

```mermaid flowchart TD A[校准集前向传播] --> B1[统计每层激活范围 → scale/clip] A --> B2[估计激活 Hessian → 权重重要性] A --> B3[统计激活幅值 → 显著权重定位] B1 --> C[量化参数] B2 --> C B3 --> C ```

三、校准集的规模：多少条才够

这是被问得最多的问题，也是最容易焦虑的点。先给结论：校准集通常不需要大，但要有「质」。

实践里常见的区间是 128 ~ 512 条短样本（每条几十到几百个 token）。原因有两层：

统计上够了。我们只是要估计每层激活的「分布特征」（均值、方差、极值、通道间相对大小），不是要训模型。几百条覆盖主流分布的样本，统计已经相当稳定。再多，估计值基本不再变化，纯属浪费时间。
太少了会过拟合。如果只喂 8 条样本，模型只「看到」这 8 条的特征，量化参数会过度贴合这 8 条，换到真实任务上反而掉点。几十到一百多条是甜点。

但要注意，「条数少」不等于「随便凑」。下面这张示意曲线表达的是普遍规律：误差随样本数先快速下降、后趋于平缓，而过少样本会偏高——具体拐点因模型而异，请以你自己的校准+评估为准。

```mermaid xychart-beta title "校准样本数与量化后相对误差（定性示意）" x-axis ["8", "32", "128", "256", "512", "2048"] y-axis "相对误差(越低越好)" 0 --> 100 line [78, 52, 33, 30, 29, 29] ```

经验建议：先拿 128 条、每条一个完整短句/短段落起步；如果目标领域很专（比如纯代码、纯医疗），再针对性加到 256~512 条。不要为了「显得认真」而堆到几千条——那只拖慢量化，质量不增反可能因分布偏移而下降。

四、校准集的质量：代表性与分布

比「多少条」更重要的是「是什么」。校准集必须满足一个铁律：它的分布要尽可能贴近你真正要跑的任务分布。

你要做通用聊天助手 → 校准集应是多样的日常文本（百科、对话、新闻、故事混杂），而非单一领域。
你要做代码补全 → 校准集应是代码语料，混点自然语言注释也行；用小说去校代码模型，激活分布对不上，质量会掉。
你要做中英混合推理 → 校准集最好中英都有，否则某语言通道的 scale 定偏。

这里有个高频坑：直接拿 Wikipedia 全文当校准集。Wikipedia 文本偏书面、长句、低代码占比，对通用聊天尚可，但如果你本地的真实负载是「短指令 + 代码块」，分布错配会让量化模型在真实任务上掉点，而你在校准评估里看不出来。所以——校准集 = 你真实流量的「迷你抽样」，而不是「越权威越好」的语料。

下面这张图点出问题本质：校准分布和真实分布错配，量化参数就定偏。

```mermaid flowchart LR subgraph 好[校准分布 ≈ 真实分布] G1[校准样本] --> G2[scale 贴合真实] G2 --> G3[量化质量稳] end subgraph 差[校准分布 ≠ 真实分布] B1[错配样本] --> B2[scale 偏移] B2 --> B3[真实任务掉点] end ```

五、校准集与量化方法的耦合关系

前面说了三种「看数据」的角度，这里把它们和具体方法对齐，你以后看工具文档就不慌：

RTN（纯四舍五入）：几乎不依赖校准集，只看权重自身范围。最快最糙，INT4 下容易崩，仅适合「先跑通」的基线。
GPTQ 路线：依赖校准集估计 Hessian（二阶重要性），对校准集的「覆盖度」敏感。校准集最好覆盖模型会遇到的各种输入模式。
AWQ 路线：依赖校准集估计激活幅值来定位显著权重，对「激活分布」敏感。它的优势是对校准集规模要求相对低（论文里常用很少的样本就能生效），但对分布代表性仍有要求。
GGUF / k-quants（llama.cpp 路线）：主要在权重层面做混合精度与 per-group 量化，对校准集依赖相对弱（很多 GGUF 量化甚至不需要你提供校准集，工具内部用统计方法），但当你追求更高质量时，部分流程仍可用校准来优化。

关键认知：方法越「聪明」，越依赖校准集的质量；方法越「统计化」，对校准集依赖越低但天花板也越低。 这解释了为什么「同一个模型，用错校准集的 GPTQ」可能还不如「用对分布的简单量化」。

六、常见踩坑：把校准集用错的人都栽在哪

我整理了本地部署里最典型的几个校准集翻车姿势，逐条对照避坑：

坑一：用训练集的「原始长文本」直接灌。校准集每条样本过长，模型前向时只吃到前几个 token 的分布，后面被截断，统计失真。正确做法：切成短而完整的片段（一句到一段），让每条都覆盖完整上下文模式。
坑二：样本高度重复。有人为了省事，把同一段话复制 200 份当 200 条。这等同于只喂了 1 条，统计完全没增益，还容易过拟合这一种模式。
坑三：领域错配还硬上。用通用百科校一个垂直代码模型，线上掉点找不到原因。务必让校准集贴合真实负载。
坑四：条数焦虑，堆到上万。如前所述，几百条足够，堆多了只是慢，且可能因混入噪声分布而微损质量。
坑五：拿测试集当校准集。校准集和你的评估集必须是两批数据，否则等于「考试前看了原题」，评估分数虚高、真实泛化变差。

七、实操：主流工具里校准集怎么传

具体到工程，不同工具的「喂校准集」方式略有差异，这里给形态说明（具体参数名与默认值请以各项目官方文档为准，版本间可能变动）：

llama.cpp 的量化（./llama-quantize 相关）：GGUF 量化多在权重统计层面完成，很多档位不需要你显式提供校准文本；当你使用带校准的高级路径时，工具会按内置或指定样本估计分布。
AutoGPTQ / 基于 GPTQ 的脚本：通常接受一个 calibration_dataset（如从公开数据集采样，或你自己的文本列表），指定 dataset 与 nsamples、seqlen 等，工具自动前向估计 Hessian。
AWQ 工具链：同样接受校准数据（常是文本列表或数据集），它前向统计激活幅值来定显著权重通道缩放。

无论哪个工具，输入形态都高度一致：一个「短样本列表」。所以你真正要花心思的，永远是「这批短样本是不是我真实流量的代表」，而不是某个神秘参数。

八、一个直觉实验：校准集质量如何左右输出

为了把这件事「焊」进脑子，建议你在第 4 章实战时亲手做一个对照实验：

用通用百科校准集量化一份 DeepSeek V4 INT4 模型，记为 A；
用你目标领域（比如代码）的短样本量化同一份模型，记为 B；
拿 10 道该领域的真实问题，分别问 A 和 B。

你会直观看到：B 在目标领域上的回答质量往往明显优于 A，哪怕两者都是 INT4、压缩比完全相同。这个结果会让你彻底相信——「量化不只是压比特，更是用校准集给模型『定向保留智能』」。这也是为什么我反复强调：校准集是 PTQ 的灵魂，而不是可有可无的附属品。

九、自检清单与本节小结

动手前，先用这张清单核对你的校准集：

□ 样本是短而完整的片段，还是超长文本被截断？（要前者）
□ 样本是否覆盖你真实任务的分布？（垂直领域务必贴合）
□ 样本是否去重、不重复堆叠？（避免等效 1 条）
□ 样本规模是否在 128 条左右起步，而非几千上万？（除非领域极特殊）
□ 校准集与你的评估集是否分开？（别用测试集校）

回到开头：后训练量化不重训，校准集就是它唯一能「偷看」真实分布的机会——模型靠这小批样本估计 scale、重要性、显著权重，从而在不训练的前提下尽量保住智能。校准集的质量与代表性，往往比「选哪个 INT4 档位」更能决定你量化后模型聪不聪明。下一节（2.3）我们顺着这条线，正面比较三条主流 INT4 量化路线（GPTQ / AWQ / GGUF k-quants），告诉你「到底该用哪一个、为什么」。