3.3 文本数据处理 (归一化, OOV)

文档摘要

3.3 文本数据处理 (归一化, OOV) 3.3 文本数据处理 (归一化, OOV) 语音识别系统依赖于文本数据来构建语言模型和词典。原始的文本数据往往包含各种非标准格式、标点符号、数字、缩写等，这些都需要经过严格的预处理才能用于ASR训练。此外，如何有效地管理词汇表并处理未登录词（OOV）是提高识别准确率的关键挑战。 3.3.1 文本数据归一化文本归一化是指将原始、不规范的文本数据转换为统一、标准格式的过程。其核心目标是减少词汇的变体，统一表示形式，从而降低词汇表的规模，并提高语言模型和声学模型的泛化能力。 1. 归一化的重要性减少词汇表大小: 例如，“一千九百九十九”和“1999”如果都作为独立的词汇，会增加词汇表冗余。归一化后统一为一种形式，可以有效控制词汇量。