2.2.2-Pytorch编写Transformer-选读

文档摘要

Transformer源代码解释之PyTorch篇在阅读完2.2-图解transformer之后，希望大家能对transformer各个模块的设计和计算有一个形象的认识，本小节我们基于pytorch来实现一个Transformer，帮助大家进一步学习这个复杂的模型。与2.2.1不同的是，本文实现Transformer的时候是按照输入-模型-输出的顺序依次实现的。供大家参考。章节词嵌入位置编码多头注意力搭建Transformer 入门/0-1-transformer-arc.webp) 图：Transformer结构图词嵌入如上图所示，Transformer图里左边的是Encoder，右边是Decoder部分。