3.1 传统文本表示方法

文档摘要

3.1 传统文本表示方法第三章：特征工程 3.1 传统文本表示方法在自然语言处理（NLP）领域，计算机无法直接理解人类语言的文本形式。文本对于机器而言是一系列字符或字符串，缺乏结构和可计算性。因此，将非结构化的文本数据转换为计算机能够理解和处理的数值形式是进行后续分析、建模和任务（如文本分类、聚类、信息检索等）的基础。这一过程被称为文本表示（Text Representation），或者更广义地说，是特征工程（Feature Engineering）在文本领域的应用。本章的重点是特征工程，而 3.1 节则聚焦于那些在深度学习兴起之前占据主导地位的、基于统计和计数原理的传统文本表示方法。这些方法通常将文本转化为高维稀疏向量，是许多早期NLP系统的基石。 3.1.1 为什么需要文本表示？