自然语言处理入门

自然语言处理入门

基本信息

• 学习周期：16天，每天平均花费时间 2小时-5小时不等，根据个人学习接受能力强弱有所浮动
• 学习形式：视频学习+实践
• 人群定位：具备一定编程基础，有学习和梳理自然语言处理算法的需求。
• 先修内容：无
• 难度系数：中

任务安排

Task 1: Introduction and Word Vectors （3天）

• 理论部分
  • 介绍NLP研究的对象
  • 如何表示单词的含义
  • Word2Vec方法的基本原理
• 视频教程

Task 2: Word Vectors and Word Senses （3天）

• 理论部分
  • 回顾 Word2Vec模型
  • 介绍 count based global matrix factorization 方法
  • 介绍 GloVe 模型
• 视频教程

Task 3: Subword Models （3天）

• 理论部分
  • 回顾 word2vec 和 glove，并介绍其所存在问题
  • 介绍 n-gram 思想
  • 介绍 FastText 模型
• 视频教程

Task 4: Contextual Word Embeddings （3天）

• 理论部分
  • 回顾 Word2Vec, GloVe, fastText 模型
  • 介绍contextual word representation
  • 介绍 ELMO，GPT与BERT模型
• 视频教程

Task 5: Homework （3天）

可以从以下作业四选一：

1. 英文词向量的探索

• 练习任务
• 完成 CS224n 配套作业

2. 中文词向量的探索

• 练习任务
• 特征词转化为 One-hot 矩阵
• 特征词转化为 tdidf 矩阵
• 利用 word2vec 进行 词向量训练
• word2vec 简单应用
• 利用 one-hot 、TF-idf、word2vec 构建句向量，然后 采用 朴素贝叶斯、条件随机场做分类

3. FastText 探索

• 练习任务
• FastText 词向量训练
• FastText 做分类

4. Bert 探索

• 练习任务
• Bert 做分类

致谢

1. CS224n 课程主页

贡献人员