3.7 语言模型评估指标
3.7 语言模型评估指标
语言模型练完，总得先自己验个货再发出去。困惑度是主打指标，它把"模型对一个文本整体有多意外"折算成一个直观数，越低说明这个先验越贴合真实语料。这一节讲透困惑度的来龙去脉、它与 WER 的关系，以及为什么不能只盯困惑度。
读完该会什么
- 能解释困惑度的定义，并能估算它随模型优劣、数据规模的变化趋势。
- 能说明困惑度与 WER 的关系，以及为何"困惑度低不代表 WER 必低"。
- 能用 OOV、重复性、语义一致性等几个别样视角补足困惑度的盲区。
- 能把语言模型评估与声学模型评估放进同一个决策框架里。
一、困惑度：模型对一件文本有多意外
困惑度简写 PPL，通俗说就是"模型看到这段文本时，平均对下一个词有多'意外'"。意外值越大，困惑度越大，先验越差。具体定义是词序列概率的几何平均的倒数，表现出来就是个大于 1 的数。一个熟练的语言模型，常见中文任务里困惑度能压到个位数几十；越贴身领域、越权威语料，数值越低。它对"模型滑不顺溜"极其敏锐，是比较不同语言模型最顺手的一把尺。
困惑度的直观含义：平均每下一个词，模型从多少个等概率候选里挑。 数值小 = 模型猜得准、读者不意外；数值大 = 模型抓瞎、语料杂乱。
二、困惑度与 WER 的同比关系
在 ASR 流水线里，语言模型打分任何涨跌都会传导到解码。困惑度低的语言模型，往往能给出更硬实的语言约束，让解码器更容易押中真句，WER 也因此下降。直觉上"困惑度低 ↔ WER 低"大致成立。但要泼盆冷水：它只在语言模型约束真正参与解码打分这一环节里才顺；若语言模型与生成路径不搭、或声学太差，低困惑度照样帮不上忙。还得留意，困惑度是全局平均值，它看不出个别低概率词被彻底无视这样的局部盲区。
三、别只盯困惑度：三对补丁
- OOV 率：没进词表的新词比例，专盯覆盖能力。
- 一致性：模型对近义/同义表述是否给出平滑相仿的分数，过度吃货就跑偏。
- 下游验证：把两版语言模型分别接到解码器，直接比 WER。这是最笨也最诚实的一招，绕过了所有中间指标的暧昧。
四、把两把尺子放进同一个决策
语言模型有自己的一套里子指标（困惑度等），声学模型也有自己的一套（PER 等），最终要汇到 WER 这一个成品。做调参时，先用里子指标快速筛掉明显差的版本，再用 WER 做终审。这是整册推进会反复出现的纪律：里子快跑、成品终审，别让任何一个中间指标替 WER 拍板。
五、用手算一次困惑度
困惑度公式好背，手感却要靠算。设想一个极简模型，对一段只有 4 个词且概率均匀的文本，每个词的概率都是 0.25，则几何平均还是 0.25，困惑度 = 1 ÷ 0.25 = 4。含义是"模型平均在 4 个等概率词里猜"。若模型把每个词都押到 0.5 这样更准，其他候选缩水，则几何平均更高、困惑度下降，比如压到 2 左右——模型更少猜棋。
把困惑度和两三个补充指标放到同一张决策表，谁该用的场合就很清楚：
| 指标 | 量的是什么 | 盲区 | 场合 |
|---|---|---|---|
| 困惑度 | 平均对下一个词有多意外 | 只重全局、不看个别词 | 语言模型横向快筛 |
| OOV 率 | 词表外新词比例 | 看不出更多语法 | 覆盖、专名多的领域 |
| 一致性 | 近义表述分数稳不稳 | 主观 | 怀疑模型"只认死句"时 |
| 下游 WER | 接进解码后的最终成绩 | 最贵、最麻烦 | 终审拍板 |
六、困惑度降了，不等于识别就变好
把"困惑度低→WER 低"这句顺口溜拆开，里面至少有三层陷阱，逐层看清就不会被带偏。第一层，困惑度是整句层面的平均，只在乎"平均猜得准不准"，对个别低概率却极关键的词（比如一句里的药名、人名）近乎无感——模型可能把日常词压得很好，却把专名彻底放倒，困惑度照样不掉。第二层，困惑度衡量的是"像不像训练语料"，不是"像不像真实说话"；语料一旦带偏（满屏书面语、没有方言），困惑度就跟着骗人。第三层，就算困惑度没问题，语言模型的分要真正降 WER，还得靠它和声学分在解码时衔接待顺——λ 没调好，低困惑度也白搭。
把这三层收进一张"别让中间指标独自拍板"的清单，调试顺序就码清楚了：先用困惑度在候选模型间快筛（省钱），再用 OOV 率与一致性补盲区（防局部坑），最后永远用下游 WER 收尾（终审）。这四步搭配，才算把"里子快跑、成品终审"落到实处，而不是让某一个数字独自替你下结论。说句负责任的话：困惑度只负责"这个语言模型像不像话"；至于"这套系统识别行不行"，还得让 5.2 的考卷和 WER 来拍板。
把个别低概率词的"局部盲区"单独放大看，也值得补一笔。工程里有人只盯总困惑度，忽略了对专名密集领域的效果差——这时总困惑度可能没变，WER 却在专业场景骤升。对策很简单：把困惑度按领域分开算（病历域算一份、通用域算一份），分别对照 WER 看走势，比一个笼统的总数更能指出毛病出在哪一块语域。这一招与声学侧"按口音分组看 PER"是同一个思路：指标别只算一个总账，要能拆到你想跟踪的那一片去。
再把"指标要拆着看"收个口：一个笼统的总困惑度，就像只看一个体温计的平均数，分不清哪块正在发烧。真正贴心的是把困惑度、OOV、一致性都按领域或按词类拆开统计，再配着下游 WER 一起看，才能定位"是覆盖没兜住，还是上下文没学紧"。这也是全书从头到尾都在灌输的自律：所有中间指标，都只当"缩小怀疑范围"的工具，永远用最终的成品指标来定乾坤。能把这套自律内化，读完整本手册，你就不只是在背操作，而是在立一个能复用的判断框架——无论碰到哪一课，都知道该信哪个数、拿它干什么。
本节要点回顾
- 困惑度：词序列概率几何平均的倒数，越低越贴合语料。
- 与 WER 关系：低困惑度大致助降 WER，但只在参与打分且无局部盲区时。
- 三个补丁：OOV 率补覆盖、核对一致性、下游 WER 终审。
- 决策纪律：里子指标快筛、WER 终审，分开用。
语言侧到这儿收官。下一章，两条工位的产品终于要在解码器里见面、碰头、拧成一句最终文字。