4.3 长短期记忆网络 (LSTM) 与门控循环单元 (GRU)

文档摘要

4.3 长短期记忆网络 (LSTM) 与门控循环单元 (GRU) 4.3 长短期记忆网络 (LSTM) 与门控循环单元 (GRU) 循环神经网络（RNN）在处理序列数据方面表现出色，但它们在处理长序列时面临着梯度消失和梯度爆炸的问题。为了解决这些问题，引入了长短期记忆网络（LSTM）和门控循环单元（GRU）。 4.3.1 长短期记忆网络 (LSTM) LSTM 是一种特殊的 RNN 结构，它引入了“门”机制来控制信息的流动，从而有效地缓解了梯度消失问题，并能够更好地捕捉长期依赖关系。 4.3.1.1 LSTM 的核心思想 LSTM 的核心思想是引入一个细胞状态（Cell State），记作 C t ，它可以携带信息在整个网络中传递，并经过选择性地更新和遗忘。