循环神经网络入门

文档摘要

循环神经网络 :label: 在 :numref: 中，我们介绍了$n$元语法模型，其中单词$xt$在时间步$t$的条件概率仅取决于前面$n-1$个单词。对于时间步$t-(n-1)$之前的单词，如果我们想将其可能产生的影响合并到$xt$上，需要增加$n$，然而模型参数的数量也会随之呈指数增长，因为词表$\mathcal{V}$需要存储$|\mathcal{V}|^n$个数字，因此与其将$P(xt \mid x{t-1}, \ldots, x{t-n+1})$模型化，不如使用隐变量模型： $$P(xt \mid x{t-1}, \ldots, x1) \approx P(xt \mid h{t-1}),$$ 其中$h{t-1}$是隐状态（hidden state），