自然语言处理基础：文本预处理与特征工程

自然语言处理基础：文本预处理与特征工程

自然语言处理（NLP）旨在使计算机能够理解、解释和生成人类语言。然而，原始的文本数据通常包含大量噪声、冗余信息以及不规范的表达，无法直接用于机器学习模型。因此，在将文本输入模型之前，必须经过一系列清洗、转换和表示的过程，这便是文本预处理与特征工程的核心任务。

1. 引言：为何需要预处理与特征工程？

人类语言极其复杂，同一个意思可以用多种方式表达，也包含许多非语言核心成分（如标点符号、大小写、停用词等）。机器学习模型通常需要结构化、数值化的输入。原始文本数据是高度非结构化的，直接处理会导致：

• 高维度稀疏性： 词汇量巨大，但单个文本中出现的词汇非常有限。

• 噪声干扰： 标点、大小写、特殊符号、HTML标签等会引入不必要的复杂性。

• 语义鸿沟： 计算机不理解词语的含义，需要将文本转化为数值表示。

• 同义词/变形词问题： "跑"、"跑步"、"正在跑" 可能表达类似概念，但被视为不同的词。

文本预处理旨在清洗和规范化文本，减少噪声和变异性；特征工程则旨在将清洗后的文本转化为模型可理解的数值或向量表示，捕捉文本的关键信息。这两者是紧密相连、不可或缺的步骤。

我们可以将整个过程看作一个流水线：

图1: NLP文本处理基础流程示意图

2. 文本预处理 (Text Preprocessing)

文本预处理是NLP任务中的第一步，目的是将原始文本转化为更干净、更规范的形式。常见的预处理步骤包括：

2.1 分词 (Tokenization)

分词是将连续的文本序列切分成有意义的最小单位（通常是词语、单词或子词）的过程。这是后续所有步骤的基础。

• 目的： 识别文本中的基本语义单元。

• 英文： 通常基于空格和标点进行分割。

  • 例如："Don't stop believing." -> ["Don't", "stop", "believing", "."]

• 中文： 由于词语之间没有空格，需要依赖词典和算法来识别词语边界。

  • 例如："我爱自然语言处理" -> ["我", "爱", "自然语言", "处理"]

• 工具： NLTK, spaCy, Jieba (中文) 等。

2.2 转换为小写 (Lowercasing)

将文本中的所有大写字母转换为小写字母。

• 目的： 减少因大小写不同而产生的词汇变体，例如 "Cat" 和 "cat" 在很多任务中应视为同一个词。

• 示例： "NLP is Amazing." -> "nlp is amazing."

• 注意： 在某些对大小写敏感的任务（如命名实体识别）中可能不适用。

2.3 移除标点符号 (Removing Punctuation)

移除文本中的标点符号（如逗号、句号、问号、感叹号等）。

• 目的： 标点符号通常不携带核心语义信息，移除有助于减少词汇量和噪声。

• 示例： "Hello, world!" -> "Hello world"

• 注意： 在情感分析等任务中，感叹号、问号可能带有情感色彩，需谨慎处理。

2.4 移除停用词 (Removing Stop Words)

停用词是语言中频率很高但通常对文本含义贡献不大的词语（如 "的", "是", "在", "a", "the", "is" 等）。

• 目的： 减少词汇量，降低特征维度，并去除对模型训练意义不大的词语。

• 示例： "这是一个自然语言处理的例子" -> "自然语言 处理 例子" (移除 "这", "是", "一个", "的")

• 工具： NLTK, spaCy 等提供预定义的停用词列表，也可以根据具体任务自定义。

2.5 词干提取 (Stemming) 与 词形还原 (Lemmatization)

这两种技术旨在将词语的不同形态（如动词的不同时态、名词的单复数）还原到基本形式。

• 词干提取 (Stemming)： 简单地移除词语的后缀，得到词干。词干不一定是有效的词语。

  • 示例： "running", "runs", "ran" -> "run" (或类似的词干，如 "runn")

  • 工具： PorterStemmer, SnowballStemmer。

• 词形还原 (Lemmatization)： 利用词典和形态学规则，将词语还原到其基本形式（lemma）。还原后的词语是有效的词语。

  • 示例： "running", "runs", "ran" -> "run"

  • 示例： "better" -> "good"

  • 工具： WordNetLemmatizer (NLTK), spaCy。

• 选择： 词形还原通常更准确，但计算成本更高。词干提取速度快，适用于对精度要求不是极致的任务。

图2: 文本预处理步骤示意图

2.6 处理数字和特殊字符

根据任务需求，可以将数字替换为统一标记（如 <NUM>）或直接移除。特殊字符（如货币符号、表情符号）也需要根据情况处理。

2.7 处理空白符

移除多余的空格、制表符、换行符等。

完成上述预处理步骤后，原始文本就被转换成了一个干净、规范的词语列表，为后续的特征工程奠定基础。

3. 特征工程 (Feature Engineering)

特征工程是将预处理后的文本数据转换为机器学习模型可以理解和处理的数值表示的过程。这是NLP中至关重要的一步，不同的特征表示方法会捕捉文本的不同信息。

3.1 词袋模型 (Bag-of-Words, BoW)

词袋模型是最简单也是最基础的文本表示方法。它将文本视为一个无序的词语集合（即“袋子”），忽略词语的顺序和语法结构，只关注词语的出现频率。

• 原理：

  1. 构建一个包含数据集中所有不重复词语的词汇表 (Vocabulary)。

  2. 对于每个文本，统计词汇表中每个词语在该文本中出现的次数（词频）。

  3. 每个文本被表示为一个向量，向量的维度等于词汇表的大小，向量的每个元素是对应词语的词频。

• 示例：

  • 文本1: "我 爱 自然语言 处理"

  • 文本2: "自然语言 处理 很 有趣"

  • 词汇表: ["我", "爱", "自然语言", "处理", "很", "有趣"]

  • 文本1的BoW向量: [1, 1, 1, 1, 0, 0]

  • 文本2的BoW向量: [0, 0, 1, 1, 1, 1]

• 优点： 简单易懂，实现方便。

• 缺点： 忽略词序信息，无法捕捉词语之间的关系；向量维度高且稀疏；对高频词敏感。

3.2 TF-IDF (Term Frequency-Inverse Document Frequency)

TF-IDF是一种常用的词语权重计算方法，它不仅考虑词语在单个文本中的出现频率 (TF, Term Frequency)，还考虑词语在整个文档集合中的稀有程度 (IDF, Inverse Document Frequency)。一个词语的重要性随着它在文本中出现的次数增加而增加，但随着它在整个文档集合中出现的频率增加而减少。

• 原理：

  • TF(t, d) = 词语 t 在文档 d 中出现的次数 / 文档 d 的总词数

  • IDF(t, D) = log(文档集合 D 中的总文档数 / 包含词语 t 的文档数 + 1) (+1 是为了避免除以零)

  • TF-IDF(t, d, D) = TF(t, d) * IDF(t, D)

• 表示： 每个文本仍然表示为一个向量，向量的每个元素是对应词语的TF-IDF值。

• 优点： 能够突出在单个文本中重要但在整个语料库中不常见的词语，比单纯的词频更能反映词语的重要性。

• 缺点： 仍然忽略词序和语义关系；向量维度高。

3.3 N-grams

N-grams是词袋模型的扩展，它考虑了词语的顺序。N-gram是一个连续的词语序列，长度为N。

• Unigram (1-gram): 单个词语，等同于BoW中的词语。

• Bigram (2-gram): 连续的两个词语。

  • 例如："自然语言 处理" -> ["自然语言", "处理"]

• Trigram (3-gram): 连续的三个词语。

  • 例如："我 爱 自然语言" -> ["我 爱 自然语言"]

• 原理： 构建由N-grams组成的词汇表，然后用N-gram的频率或TF-IDF值来表示文本。

• 优点： 捕捉了词语的部分顺序信息，有助于区分语义（例如 "not good" 和 "good"）。

• 缺点： 随着N的增加，词汇表急剧膨胀，向量维度更高且更稀疏；对于较大的N，很多N-grams可能只出现一次，泛化能力差。

3.4 词嵌入 (Word Embeddings)

词嵌入是一种更现代的文本特征表示方法，它将词语映射到低维的连续向量空间中。在这个向量空间中，语义相似的词语具有相似的向量表示，即它们在向量空间中距离较近。

• 原理： 通过神经网络（如Word2Vec, GloVe, FastText）或更复杂的模型（如BERT, GPT）在大规模语料库上训练得到。模型学习词语的上下文信息，从而生成具有语义和语法属性的向量表示。

• 示例： 向量("国王") - 向量("男人") + 向量("女人") ≈ 向量("女王")

• 表示： 可以通过多种方式将文本表示为向量，例如对文本中所有词语的词嵌入向量进行平均或加权平均。

• 优点： 捕捉词语的语义和语法关系；向量维度通常较低；具有很好的泛化能力。

• 缺点： 需要大规模语料库进行预训练；模型的选择和调优相对复杂。

虽然词嵌入通常被认为是更高级的特征工程技术，但理解其基本思想对于理解现代NLP至关重要。在基础阶段，BoW、TF-IDF和N-grams是理解文本数值化的重要起点。

图3: 文本特征工程方法示意图

4. 文本处理流水线总结

一个典型的NLP文本处理流水线如下所示：

1. 原始文本获取： 读取或收集原始文本数据。

2. 文本清洗： 移除HTML标签、特殊格式等。

3. 文本预处理：

   • 分词

   • 转换为小写

   • 移除标点符号

   • 移除停用词

   • 词干提取/词形还原

   • 处理数字等

4. 特征工程：

   • 构建词汇表（或N-gram词汇表）

   • 选择特征表示方法（BoW, TF-IDF, N-grams, 词嵌入等）

   • 将清洗后的文本转换为数值特征向量。

5. 模型输入： 将数值特征向量输入到机器学习模型中进行训练或预测。

5. 结论

文本预处理和特征工程是自然语言处理任务的基石。高质量的预处理能够减少噪声和变异性，使文本更加规范化；有效的特征工程则能够将非结构化的文本数据转化为模型可理解的结构化数值表示，捕捉文本的关键信息。选择合适的预处理步骤和特征工程方法取决于具体的NLP任务和数据集的特点。虽然现代深度学习模型（特别是基于Transformer的模型）在一定程度上简化了特征工程的复杂性（它们可以学习到强大的文本表示），但理解传统的预处理和特征工程技术仍然是掌握NLP基础的关键。它们不仅有助于理解文本数据的特性，也能在许多场景下作为有效的基线或补充方法。