循环神经网络

文档摘要

循环神经网络课前测验在之前的章节中，我们使用了丰富的语义表示来处理文本，并在嵌入层之上添加了一个简单的线性分类器。这种架构的作用是捕捉句子中词语的聚合意义，但它并没有考虑词语的顺序，因为在嵌入层之上进行的聚合操作已经去除了原始文本中的这一信息。由于这些模型无法对词序建模，它们无法解决更复杂或模棱两可的任务，如文本生成或问答。为了捕捉文本序列的意义，我们需要使用另一种神经网络架构，称为循环神经网络（RNN）。在RNN中，我们将句子逐个符号地通过网络传递，并产生一些状态，然后将该状态与下一个符号一起传递给网络。 RNN 图片由作者提供给定输入序列中的标记X 0 ,...,X n ，RNN创建一个神经网络块序列，并使用反向传播从头到尾训练这个序列。