文档摘要

前言 本章节将会对Transformer相关的原理进行深入讲解，主要涉及的内容有：attention，transformer和两个经典模型BERT和GPT。 2.1-图解attention 2.2-图解transformer 2.2.1-Pytorch编写Transformer.md 2.2.2-Pytorch编写Transformer-选读.md 2.3-图解BERT 2.4-图解GPT 2.5-篇章小测

---

作者与出处

原作者： Datawhale

来源：Datawhale

原文： https://github.com/datawhalechina/learn-nlp-with-transformers

许可证：CC BY-NC-SA 4.0

整理： 灏天文库整理

由灏天文库结构化整理，提供目录导航、全文检索与在线阅读，便于系统化学习