2.4 停用词处理与低频词过滤

文档摘要

2.4 停用词处理与低频词过滤 2.4 停用词处理与低频词过滤在自然语言处理（NLP）任务中，原始文本数据往往包含大量对模型训练和分析意义不大的词汇。这些词汇的存在不仅增加了数据的维度，导致计算资源的浪费，还可能引入噪声，影响模型的性能。因此，在将文本转换为数值特征之前，进行停用词处理和低频词过滤是文本预处理中至关重要的步骤。本章节将详细探讨这两个技术及其在文本预处理中的作用、方法和考量。 2.4.1 停用词处理 2.4.1.1 什么是停用词？停用词（Stop Words）是指在文本中出现频率很高，但通常不携带太多实际语义信息的词语。它们主要是语言中的功能性词汇，用于构建句子结构，例如介词、连词、冠词、助词等。