嵌入

文档摘要

嵌入课前测验在基于BoW或TF/IDF训练分类器时，我们处理的是长度为的高维词袋向量，并且我们显式地将低维位置表示向量转换为稀疏的一热编码表示。然而，这种一热编码表示并不高效。此外，每个词都被独立处理，即一热编码向量并不能表达词之间的任何语义相似性。嵌入的想法是通过较低维度的密集向量来表示词，这些向量以某种方式反映了词的语义意义。稍后我们将讨论如何构建有意义的词嵌入，但目前我们可以将嵌入视为降低词向量维度的一种方法。因此，嵌入层会将一个词作为输入，并产生指定维度的输出向量。从某种意义上说，它与层非常相似，但它不是接收一热编码向量，而是能够接收词编号作为输入，从而避免创建大的一热编码向量。