2.2 Word2Vec模型详解\n\nWord2Vec是由Mikolov等人于2013年提出的经典词嵌入方法。\n\n## CBOW架构\n\nCBOW（Continuous Bag-of-Words）基于上下文预测中心词。\n\n### 模型结构\n\n1. 输入层：上下文的词向量\n2. 投影层：将上下文向量平均\n3. 输出层：预测中心词的概率分布\n\n### 数学表达\n\n给定上下文词 , c_2, ..., c_，目标是预测中心词 ：\n\n2734977P(w|c_1, c_2, ..., c_) = \text(\mathbfw \cdot \mathbf)2734977\n\n其中 \mathbf{u}_{context} = \frac{1}{2w}\sum_{i=1}^{2w}\mathbf{u}_{c_i}\n\n## Skip-gram架构\n\nSkip-gram基于中心词预测上下文，与CBOW相反。\n\n### 模型结构\n\n1. 输入层：中心词向量\n2. 隐藏层：词向量投影\n3. 输出层：预测上下文词的概率分布\n\n### 数学表达\n\n给定中心词 ，目标是预测上下文词 ：\n\n2734977P(c|w) = \text(\mathbf_c \cdot \mathbfw)2734977\n\n## 负采样\n\n负采样通过随机采样负例来提高训练效率：\n\n2734977J}(\theta) = -\log \sigma(\mathbf_w \cdot \mathbfc) - \sum^\log \sigma(-\mathbfw \cdot \mathbf)2734977\n\n其中$ 是负样本。