11.Transformer

文档摘要

Transformer 模型谷歌2017年文章《All you need is attention》提出Transformer模型，文章链接：http://arxiv.org/abs/1706.03762。下面对几个基于Transformer的主要的模型进行简单总结。 Bert 来自文章《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》。整个模型可以划分为embedding、transformer、output三部分。