第 3 章 语言侧:给词序列一个先验


第 3 章 语言侧:给词序列一个先验

章节摘要:声学模型把声音翻译成一堆发音候选,可它们彼此都不像是"人话"。这一章扛起语言侧的责任:给每一条候选词序列打一个"像不像话"的分数,也就是语言先验 P(W)。从最朴素的 N-gram 计数,到能学长距依赖的神经模型,再到怎么训练、怎么评估,本章把语言模型这条工位带从头捋到尾。

学习目标

  1. 能说出语言模型的标准输入输出,并说明它为什么能帮声学上打平的候选一锤定音。
  2. 能说明语言建模的链式分解,理解为什么 N-gram 只截取前面若干词。
  3. 能写出 N-gram 的最大似然估计,解释数据稀疏与平滑的必要性。
  4. 能对比 N-gram 与神经网络语言模型在捕捉上下文上的差异。
  5. 能在 ASR 里讲清楚语言模型的训练流程、领域适配,以及困惑度与 WER 的关系。
  6. 能判断一份语言模型该用什么指标评估,并读懂困惑度的量级。

核心概念速览

一条完整的语音先验工位带,先定单元、再选模型、然后训练、最后评估,四步连成下图。

子章节导航与逻辑关系

本章按"先定量纲、再选行头、后验出厂"排开。3.1 讲语言模型的任务定位与输入输出,先框住目标;3.2 决定建模单元——用词还是子词;3.3 上传统 N-gram,讲清计数与平滑;3.4 换装神经网络,对比前后代的上下文能力;3.5 是实战派,讲训练与重打分的可操作配方;3.6 谈训练的大数据、领域适配与半监督;3.7 讲评估指标,尤其困惑度。前三节是地基,中两节是模型,最后两节是训练与验货。

本章知识点清单

读完本章,请能对下面这些判断直接给出"是"或"否"并说出依据:

  • 3.1:能说清语言模型给"一条候选词序列"打分,而不是给"单个词"打分;能举出至少两个声学上打平、靠语言先验裁决的句子。
  • 3.2:能对比用词与用子词做单元各自的取舍(词表大小、稀疏、OOV、泛化)。
  • 3.3:能写出 N-gram 的链式分解;能解释数据稀疏为何必然导致零概率,平滑又是怎么救场的;能背出两种常见平滑的名字和作用。
  • 3.4:能对比 N-gram 与神经网络模型在"能看多长上文"与"是否有嵌入表达"上的差异。
  • 3.5:能复述训练一块语言模型的配方(语料、切分、损失、重打分),并说明重打分在 ASR 里把语言权重放在哪。
  • 3.6:能说出领域不匹配的表现,以及用领域语料继续训练(微调、半监督)解决它的思路。
  • 3.7:能读懂困惑度的量级并解释"困惑度越低越好递进的直觉";能说清困惑度下降不等于 WER 一定下降。

哪一条答不上来,就翻回那一节把话读透——语言先验想得越清楚,第四章解码处的"把两分相乘"就越有底气。

前置知识与后续延伸

前置知识主要是第 1 章的贝叶斯拆解,知道语言模型贡献 P(W) 这一项即可。声学侧(第 2 章)与语言侧(本章)是两条并行工位带,读完声学侧再读这章最顺。本章的产出(候选词序列的语言先验)会与声学打分在第 4 章解码器相遇。若只想快速理解"神经网络怎么比 N-gram 强",直接看 3.4 与 3.3 的对比;想马上上手训练一块语言模型,直接看 3.5。

本章读完后,除了会算几个指标,更该带走一个判断习惯:遇到"识别总在某个方向转圈"的怪象,先别急着换模型,先回头问一句"语言先验站得住吗"。语言侧账本里的每一个数字——困惑度、OOV、配比、λ——都是为这句话服务的把手。愿你读完本章,能像个老师傅那样,指着流水线说出"这台的毛病就出在语言先验的哪一格"。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U