静态语义表示方法

文档摘要

静态语义表示方法知识体系主要包括词袋模型 BoW、TFIDF、LDA、Word2vec、Golve、Doc2Vec 等。 Questions 在小数据集中 Skip-Gram 和 CBoW 哪种表现更好？ Skip-Gram 是用一个 Center Word 预测其 Context 里的 Word；而 CBoW 是用 Context 里的所有 Word 去预测一个 Center Word。显然，前者对训练数据的利用更高效（构造的数据集多），因此，对于较小的语料库，Skip-Gram是更好的选择。为什么要使用HS（Hierarchical Softmax ）和负采样（Negative Sampling）？两个模型的原始做法都是做内积，经过 Softmax 后得到概率，因此复杂度很高。