章节摘要:声学模型把声音翻译成一堆发音候选,可它们彼此都不像是"人话"。这一章扛起语言侧的责任:给每一条候选词序列打一个"像不像话"的分数,也就是语言先验 P(W)。从最朴素的 N-gram 计数,到能学长距依赖的神经模型,再到怎么训练、怎么评估,本章把语言模型这条工位带从头捋到尾。
一条完整的语音先验工位带,先定单元、再选模型、然后训练、最后评估,四步连成下图。
本章按"先定量纲、再选行头、后验出厂"排开。3.1 讲语言模型的任务定位与输入输出,先框住目标;3.2 决定建模单元——用词还是子词;3.3 上传统 N-gram,讲清计数与平滑;3.4 换装神经网络,对比前后代的上下文能力;3.5 是实战派,讲训练与重打分的可操作配方;3.6 谈训练的大数据、领域适配与半监督;3.7 讲评估指标,尤其困惑度。前三节是地基,中两节是模型,最后两节是训练与验货。
读完本章,请能对下面这些判断直接给出"是"或"否"并说出依据:
哪一条答不上来,就翻回那一节把话读透——语言先验想得越清楚,第四章解码处的"把两分相乘"就越有底气。
前置知识主要是第 1 章的贝叶斯拆解,知道语言模型贡献 P(W) 这一项即可。声学侧(第 2 章)与语言侧(本章)是两条并行工位带,读完声学侧再读这章最顺。本章的产出(候选词序列的语言先验)会与声学打分在第 4 章解码器相遇。若只想快速理解"神经网络怎么比 N-gram 强",直接看 3.4 与 3.3 的对比;想马上上手训练一块语言模型,直接看 3.5。
本章读完后,除了会算几个指标,更该带走一个判断习惯:遇到"识别总在某个方向转圈"的怪象,先别急着换模型,先回头问一句"语言先验站得住吗"。语言侧账本里的每一个数字——困惑度、OOV、配比、λ——都是为这句话服务的把手。愿你读完本章,能像个老师傅那样,指着流水线说出"这台的毛病就出在语言先验的哪一格"。