Task3 FastText简介

文档摘要

12-Subword Models 读书笔记前言之前的 word2vec 和 glove 基本上都是基于word单词作为基本单位的，这种方式虽然能够很好的对词库中每一个词进行向量表示，然而，这种方式容易出现单词不存在于词汇库中的情况，也就是 OOV(out-of-vocabulary),而且对于单词的一些词法上的修饰(morphology)处理的也不是很好。一个自然的想法就是能够利用比word更基本的组成来建立模型，以更好的解决这些问题。本节思考采用 n-gram 思想训练 word vector 模型，也就是 FastText。动机 word-level Model 介绍基于word单词作为基本单位的，这种方式虽然能够很好的对词库中每一个词进行向量表示。问题 OOV 问题。