4.6 循环神经网络与 Transformer (RNNs & Transformers)

文档摘要

4.6 循环神经网络与 Transformer (RNNs & Transformers) 第四章：PyTorch 高级主题：4.6 循环神经网络与 Transformer (RNNs & Transformers) 详解与实践 4.6.1 循环神经网络 (RNNs) 循环神经网络 (Recurrent Neural Networks, RNNs) 是一类专门设计用于处理序列数据的神经网络。与传统的前馈神经网络不同，RNNs 引入了循环连接，使得网络能够维持一个内部状态 (hidden state)，从而记忆先前输入的信息，并将其应用于后续的输入处理。 4.6.1.1 RNN 的基本原理 RNN 的核心思想是，对于序列中的每个元素，网络不仅接收当前的输入，还接收来自上一个时间步的隐藏状态。