图解Attention

文档摘要

序列到序列（seq2seq）模型是一种深度学习模型，在很多任务上都取得了成功，如：机器翻译、文本摘要、图像描述生成。谷歌翻译在 2016 年年末开始使用这种模型。有2篇开创性的论文： Sutskever等2014年发布的：https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf， Cho等2014年发布的：http://emnlp2014.org/papers/pdf/EMNLP2014179.pdf 都对这些模型进行了解释。然而，我发现，想要充分理解模型并实现它，需要拆解一系列概念，而这些概念是层层递进的。我认为，如果能够把这些概念进行可视化，会更加容易理解。