预训练word2vec

文档摘要

预训练word2vec :label: 我们继续实现 :numref: 中定义的跳元语法模型。然后，我们将在PTB数据集上使用负采样预训练word2vec。首先，让我们通过调用函数来获得该数据集的数据迭代器和词表，该函数在 :numref: 中进行了描述。跳元模型我们通过嵌入层和批量矩阵乘法实现了跳元模型。首先，让我们回顾一下嵌入层是如何工作的。嵌入层如 :numref: 中所述，嵌入层将词元的索引映射到其特征向量。该层的权重是一个矩阵，其行数等于字典大小（），列数等于每个标记的向量维数（）。在词嵌入模型训练之后，这个权重就是我们所需要的。嵌入层的输入是词元（词）的索引。对于任何词元索引$i$，其向量表示可以从嵌入层中的权重矩阵的第$i$行获得。