2.1-图解attention

文档摘要

图解Attention 内容组织：图解Attention seq2seq框架 seq2seq细节 Attention 致谢篇章1中我们对Transformers在NLP中的兴起做了概述。本教程的学习路径是：Attention->Transformer->BERT->NLP应用。因此，本篇章将从attention开始，逐步对Transformer结构所涉及的知识进行深入讲解，希望能给读者以形象生动的描述。问题：Attention出现的原因是什么？潜在的答案：基于循环神经网络（RNN）一类的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行attention有助于提升RNN的模型效果。于是学习的问题就拆解为：1. 什么是seq2seq模型？2.