第 5 章 · 02 循环神经网络

第 5 章 · 02 循环神经网络

本节摘要:本节讲专为时序数据设计的循环神经网络(Recurrent Neural Network,RNN)。第 01 节的 MLP 把每个时间点独立看待,无法利用「过去 N 天因子序列」,而 RNN 通过隐藏状态在时间步之间传递信息,天然适合捕捉金融数据的时序依赖。但原始 RNN 在长序列上会遭遇严重梯度消失,只能记短期。为此引入长短期记忆网络(LSTM),用输入门、遗忘门、输出门三个门控精确控制信息的保留与遗忘,显著提升长程记忆能力。GRU 是 LSTM 的简化版,只保留更新门与重置门,计算更轻、效果接近。华泰 AI 系列第 9 篇把 RNN/LSTM 引入选股,实证它对个股的时序特征(如过去 30 天量价序列)有不错的建模能力。本节讲清 RNN 原理、梯度消失、LSTM 门控机制与金融应用。

内容来源:仓库研报 华泰 AI 系列第 9 篇(循环神经网络),知识结构化整理。

⚠️ 学习提示:RNN/LSTM 虽然强大,但训练慢、调参难。在量价选股里,它的提升相对 MLP 并不总是显著——别因为「模型更高级」就盲目上,先看是否真有时序结构可挖。

学习目标

阅读完本节,你应当能够:

1. 说清 RNN 的循环结构与隐藏状态的作用。
2. 解释原始 RNN 为何在长序列上梯度消失。
3. 详解 LSTM 的三门(输入门/遗忘门/输出门)及其物理直觉。
4. 对比 GRU 与 LSTM 的异同与取舍。
5. 理解 RNN 在金融时序特征建模中的应用方式与陷阱。

一、为什么需要 RNN:时序结构是金融数据的核心

金融数据本质是时序数据——一只股票今天的收益,和它过去一段时间的走势、波动、成交量密切相关。比如「连续放量上涨 5 天后」与「地量横盘 5 天后」,未来走势的概率分布显然不同。这种「依赖过去序列」的结构,MLP 难以捕捉:它只看当前截面,等于丢了时间维度的信息。

RNN 正是为时序数据设计。它在每个时间步接收一个输入,并维护一个隐藏状态(hidden state),把过去的信息「压缩」进去,再传给下一个时间步。这样,当前输出就同时依赖当前输入和历史信息,形成「记忆」。

华泰 AI 系列第 9 篇把 RNN/LSTM 引入选股,动机正是利用个股的时序量价特征(如过去 30 天的开高低收成交量序列),让网络自动学习时序模式,而非只用最新一期的因子截面。实证表明,在加入时序信息后,模型的预测能力(尤其对短期反转/动量)有提升。

二、RNN 的结构与隐藏状态

RNN 的核心是「循环」——同一个网络单元在时间步之间重复使用,隐藏状态在时间上传递。对时间步 t:

h_t = activation(W_hh * h_{t-1} + W_xh * x_t + b)   # 隐藏状态更新
y_t = W_hy * h_t + b_y                                # 输出
​

其中 h_t 是当前隐藏状态,h_{t-1} 是上一时间步的隐藏状态,x_t 是当前输入。展开来看,RNN 相当于一个「很深」的网络,每个时间步是一层,权重共享。

直觉上,隐藏状态 h_t 就像网络的「短期记忆」,它累积了从序列开始到当前 t 的信息。每个时间步,网络一边接收新输入,一边更新记忆。最后一个时间步的隐藏状态 h_N,可以看作整个序列的「摘要」,常用来做序列级预测(如预测未来收益)。

三、原始 RNN 的梯度消失:只能记短期

RNN 训练用随时间反向传播(Backpropagation Through Time,BPTT),本质仍是链式法则,只是把网络在时间上展开。问题在于:当序列较长时,梯度要从最后一个时间步传回第一个,中间要乘很多次权重矩阵与激活函数导数,呈现连乘效应——这与第 01 节 MLP 的梯度消失同理,只是 RNN 更严重,因为序列长度动辄几十上百。

结果就是:原始 RNN 只能记住短期信息,长期依赖学不到。比如想让 RNN 记住「30 天前出现过大单净流入」并对今天预测产生影响,基本不可能——梯度传不到那么远,底层权重不更新。

这个局限催生了 LSTM(长短期记忆网络),专门解决长程依赖问题。

四、LSTM:用门控精确控制记忆

长短期记忆网络(Long Short-Term Memory,LSTM)在 1997 年提出,核心创新是引入细胞状态(cell state)和三个门控(gate),让网络能精确控制信息的保留、更新与遗忘。门控本质上是一个 Sigmoid 层(输出 0-1),0 表示「全丢弃」,1 表示「全保留」。

LSTM 单元在每个时间步做三件事:

更新过程用文字描述:

1. 遗忘门看上一隐藏状态和当前输入,输出 0-1 的向量,点乘旧细胞状态,「按位遗忘」。
2. 输入门与候选值(用 tanh 生成)配合,决定要写入的新信息,加到细胞状态上。
3. 细胞状态更新后,经过 tanh 压缩,再被输出门按位控制,得到新的隐藏状态。

💡 核心直觉:细胞状态像一条贯穿时间步的「传送带」,信息可以几乎无损地流动(因为加法更新而非乘法),这就是 LSTM 能学长程依赖的原因——梯度有了一条「快车道」,不会被连乘效应吞掉。三个门控则像传送带上的「阀门」,精确控制什么时候记、什么时候忘。

五、GRU:LSTM 的轻量化兄弟

门控循环单元(Gated Recurrent Unit,GRU)是 2014 年提出的 LSTM 简化版,只保留两个门:

• 重置门(Reset Gate):决定如何把新输入与旧记忆结合。
• 更新门(Update Gate):决定保留多少旧隐藏状态、写入多少新信息——相当于把 LSTM 的遗忘门和输入门合并。

GRU 还去掉了单独的细胞状态,直接用隐藏状态承运记忆,参数比 LSTM 少约三分之一,训练更快。

💡 选型心法:LSTM 与 GRU 在多数任务上效果接近,没有绝对优劣。数据量小、追求速度选 GRU;数据量大、追求极致效果选 LSTM。华泰 AI 9 主要用 LSTM,但实践中可两者都试。

六、RNN/LSTM 在选股中的应用

华泰 AI 9 的应用范式:

1. 输入序列:每只股票过去 N 天(如 30 天)的多个量价特征(开高低收成交量),构成 (N, 特征数) 的序列。
2. 网络结构:LSTM 层(1-2 层,隐藏维度 64-128)→ 全连接层 → 输出预测收益。
3. 标签:未来一段时间的收益(如未来 10 日)。
4. 训练:按时间切分,所有股票的序列样本一起训练,注意要做截面标准化(每个时间步所有股票的因子值标准化)。

实证结论:RNN/LSTM 在时序量价特征上,预测 IC 优于 MLP,尤其能捕捉短期反转/动量这类强时序效应。但也面临挑战:

• 训练慢:序列长度增加,训练时间显著上升。
• 调参难:隐藏维度、层数、序列长度、学习率都要调,搜索空间大。
• 过拟合风险:参数多,金融信噪比低,容易在训练集学得好、样本外失效。

七、RNN 的局限与后续改进

RNN/LSTM 虽适合时序,但也有局限:

• 串行计算慢:必须按时间步顺序处理,无法像 CNN 那样高度并行,训练慢。
• 超长序列仍吃力:即使 LSTM,序列太长(如 100+ 天)效果也会下降。
• 注意力有限:对关键时间步的「聚焦」能力不如 Transformer(后续 BERT 会讲)。

这些局限正是后来 Transformer(第 6 章 BERT 的基础)兴起的原因——它用自注意力机制并行处理整个序列,且能直接建模任意两个时间步的关系,在多数时序任务上超越了 RNN。

⚠️ 学习提示:RNN/LSTM 是理解时序建模的重要一环,但不是终点。华泰 AI 系列后续也探索了 Transformer 类结构。学本节时,重点理解「门控如何控制记忆」这个思想,它会在很多地方复用(包括第 6 章的 GAN、第 8 章的因子挖掘网络)。

本节要点回顾

1. 动机:RNN 专为时序数据设计,通过隐藏状态在时间步间传递信息,捕捉 MLP 错过的时序依赖。
2. 结构:同一单元在时间步重复使用,h_t = activation(W_hh*h_{t-1} + W_xh*x_t + b);隐藏状态是「短期记忆」。
3. 梯度消失:BPTT 中梯度连乘导致原始 RNN 只能记短期,长程依赖学不到。
4. LSTM 三门:遗忘门(丢旧)、输入门(写新)、输出门(控输出);细胞状态用加法更新,提供梯度「快车道」,解决长程依赖。
5. GRU:LSTM 简化版,只保留重置门与更新门,参数少约 1/3,效果接近。
6. 选股应用:输入过去 N 天量价序列 → LSTM → 预测收益;华泰 AI 9 证明对短期反转/动量类时序效应有效。
7. 局限:串行慢、调参难、超长序列吃力——催生了 Transformer。

下一节,我们看卷积神经网络(CNN)——它用卷积核扫描序列,挖掘量价数据的局部模式(如连续放量、长上影线),与 RNN 互补。