1.1 Embedding概念与发展\n\n## 什么是Embedding\n\nEmbedding（嵌入）是一种将离散符号（如单词、字符、短语等）映射到低维连续向量空间的技术。在这个连续空间中，语义相近的词语在数学空间中的距离也相近。\n\n### 数学表示\n\n从数学角度来看，Embedding可以表示为：\n- 输入：离散符号集合 = {v_1, v_2, ..., v_n}\n- **输出**：连续向量空间 \mathbb^d 中的向量表示\n- **映射函数**：: V \rightarrow \mathbb{R}^d\n\n### 核心特性\n\n1. 语义相似性：语义相近的词语在向量空间中的距离较近\n2. 线性关系：向量间的运算能够保持语义关系\n3. 维度压缩：将高维离散符号压缩到低维连续空间\n4. 泛化能力：能够处理训练时未出现的新词语\n\n## 发展历程\n\n### 早期方法（2000年前）\n\nOne-hot编码：每个词语用一个长向量表示，除对应位置为1外，其余位置都为0。\n\n符号主义方法：基于语言学规则构建词义表示。\n\n### 统计方法时代（2000-2010）\n\n共现统计：基于词语在语料中的共现频率构建词义表示。\n\n概率模型：使用概率分布模型表示词义。\n\n### 深度学习革命（2010至今）\n\nWord2Vec（2013）：Mikolov等人提出的经典方法。\n\nGloVe（2014）：结合全局矩阵分解和局部上下文窗口。\n\nBERT（2018）：基于Transformer架构的预训练语言模型。