2.2.1-Pytorch编写Transformer

文档摘要

png入门/2.2.1-Pytorch%E7%BC%96%E5%86%99Transformer00.webp) 本文翻译自哈佛NLPThe Annotated Transformer 本文主要由Harvard NLP的学者在2018年初撰写，以逐行实现的形式呈现了论文的“注释”版本,对原始论文进行了重排，并在整个过程中添加了评论和注释。本文的note book可以在篇章2下载。内容组织： Pytorch编写完整的Transformer 背景模型架构 Encoder部分和Decoder部分 Encoder Decoder Attention 模型中Attention的应用基于位置的前馈网络 Embeddings和softmax 位置编码完整模型训练批处理和mask