3.3 上下文嵌入 (Contextual Embeddings)

文档摘要

3.3 上下文嵌入 (Contextual Embeddings) 3.3 上下文嵌入 (Contextual Embeddings) 在文本特征表示的演进历程中，从早期基于词频统计的方法（如 Bag-of-Words, TF-IDF）到基于分布式假设的静态词向量（如 Word2Vec, GloVe），我们看到模型对词语语义理解能力的不断提升。然而，静态词向量存在一个核心局限性：多义词的处理。一个词，例如“银行”（bank），在不同的句子中可能有完全不同的含义（金融机构 vs. 河岸），但静态词向量会为其生成一个固定的向量表示，无法区分这些上下文相关的语义差异。上下文嵌入（Contextual Embeddings）正是为了解决这一问题而诞生的。