Task2 GloVe简介

文档摘要

CS224N Word Vectors 2 and Word Senses 引言 Word2vec回顾、优化、基于统计的词向量、GloVe、词向量评价、词义基于统计的词向量词向量目的：希望通过低维稠密向量来表示词的含义 t2 课程中举了一个例子：三个句子，比如对于like这个词，在三个句子中，其左右共出现2次I，1次deep和1次NLP，所以like对应的词向量中，I、deep和NLP维的值分别为2,1,1。不足点但这些预训练模型也存在不足：词梳理很多时，矩阵很大，维度很高，需要的存储空间也很大当词的数目是在不断增长，则词向量的维度也在不断增长矩阵很稀疏，即词向量很稀疏，会遇到稀疏计算的问题 https://pdfs.semanticscholar.