2.3-图解BERT

文档摘要

图解BERT 内容组织；图解BERT BERT句子分类模型结构模型输入模型输出预训练任务：Masked Language Model 预训练任务：相邻句子判断 BERT的应用 BERT特征提取拓展阅读对比CNN 词嵌入（Embedding）进展回顾词嵌入语境问题 Transformer：超越LSTM OpenAI Transformer：预训练一个Transformer Decoder进行语言建模 BERT：Decoder到Encoder 致谢在学习完2.2章节的Transformer之后，我们来学习一下将Transformer模型结构发扬光大的一个经典模型：BERT。