6.1 循环神经网络RNN与LSTM与GRU

6.1 循环神经网络 RNN 与 LSTM 与 GRU

本节摘要：循环神经网络及其变体是处理时序数据的原生神经网络。本节从 RNN 的循环结构与隐藏状态讲起，拆解它处理长序列时的梯度消失问题，再深入 LSTM 的记忆单元与遗忘/输入/输出三门机制、GRU 的更新/重置两门简化设计，最后展开预测误差、重构误差、隐藏状态、概率模型四种检测思路。核心结论：LSTM/GRU 适合捕捉长期依赖，但训练成本与调参难度决定了它不是"默认选项"。

你能学到什么

阅读完本节，你应当能够：

1. 画出 RNN 单元的信息流（输入、隐藏状态、输出）并写出递推公式。
2. 解释梯度消失为何让普通 RNN 记不住长期信息。
3. 说清 LSTM 细胞状态与三个门的分工。
4. 对比 LSTM 与 GRU 的结构差异与取舍。
5. 掌握预测误差、重构误差、隐藏状态、概率模型四种检测思路并判断适用场景。

一、问题与直觉

想象你要预测一台柴油发电机的下一分钟转速。上周三下午 2 点 17 分，转速突然异常升高了 30 秒——而这个异常发生时，机组正在启动。如果你只看"上一秒的转速"，你什么都不知道；但如果模型记住了"前 5 分钟机组刚做完一次启动"，它就会知道"现在的转速异常偏高"。

这就是"长期依赖"问题：当前时刻的异常判断，需要参考很早以前的信息。 普通的前馈网络喂进去的是一段固定长度的窗口，窗口外的信息一概不知；而序列数据的因果链常常跨得很长——一个故障的诱因可能发生在几小时前。

RNN 的出现就是为了解决"记忆"的问题：它用循环连接把信息一路带下去，让"过去"参与"现在"的判断。LSTM 和 GRU 则是 RNN 的升级款，专门解决 RNN "记不长远"的毛病。这一节我们要搞清楚的，正是这三代模型各自能记多远、怎么记、以及记下来的信息怎么变成异常信号。

二、核心原理

2.1 RNN：让信息在序列里循环

普通神经网络对每个输入独立处理；RNN 多了一条"循环边"——隐藏状态 h(t) 由当前输入 x(t) 和上一个隐藏状态 h(t-1) 共同决定：

h(t) = tanh(W_h · h(t-1) + W_x · x(t) + b_h)
y(t) = W_y · h(t) + b_y
​

隐藏状态就是"记忆"：它一路携带过去的信息，每个时间步都在"用过去 + 现在"产出"现在的判断"。读一个序列时，RNN 像在读卷轴——每读一个字，脑子里装着前面所有字的印象。

但普通 RNN 有个致命伤：梯度消失。 误差在时间上反向传播时，每往回传一步都要乘一个权重矩阵；序列一长，梯度指数级衰减（或爆炸），模型学到"遥远的过去"信息的能力趋近于零。实验结果很直观：普通 RNN 实际能可靠记忆的步数只有几十步，再远就是"听了后面忘前面"。

2.2 LSTM：给记忆装一条"高速公路"

LSTM（Long Short-Term Memory）的核心创新是细胞状态 C(t)——一条贯穿整个序列的"信息高速公路"，信号可以在上面近乎无损地流动。三个门负责决定"往高速公路上放什么、拿走什么"：

• 遗忘门 f(t)：决定从细胞状态里丢弃哪些旧信息。f(t) = sigmoid(W_f · [h(t-1), x(t)] + b_f)。
• 输入门 i(t)：决定把哪些新信息写进细胞状态。i(t) = sigmoid(W_i · [h(t-1), x(t)] + b_i)。
• 输出门 o(t)：决定从细胞状态里读出什么作为当前的隐藏状态。o(t) = sigmoid(W_o · [h(t-1), x(t)] + b_o)。

细胞状态更新：C(t) = f(t)·C(t-1) + i(t)·g(t)，其中 g(t) 是候选信息。遗忘门负责"忘掉无关旧事"，输入门负责"记住当前要事"，输出门负责"把该说的说出来"。

这套"门控"机制就是对抗梯度消失的关键：细胞状态上的信息流接近线性（没有被反复乘的 tanh 压缩），梯度可以沿这条"高速公路"顺畅地传回遥远的过去——LSTM 因此能记住数百步之前的依赖。

2.3 GRU：简化版的 LSTM

GRU（Gated Recurrent Unit）把 LSTM 的三个门合并成两个，并把细胞状态并入隐藏状态：

• 更新门 z(t)：决定"保留多少旧状态 + 引入多少新候选"。相当于 LSTM 的遗忘门+输入门合体。
• 重置门 r(t)：决定计算候选状态时忽略多少旧信息。

z(t) = sigmoid(W_z · [h(t-1), x(t)] + b_z)
r(t) = sigmoid(W_r · [h(t-1), x(t)] + b_r)
h'(t) = tanh(W_h · [r(t)·h(t-1), x(t)] + b_h)
h(t) = (1 - z(t))·h(t-1) + z(t)·h'(t)
​

GRU 参数更少、训练更快，多数任务上效果与 LSTM 相当——所以当算力或训练时间紧张时，GRU 往往是更务实的选择；数据模式特别复杂、追求极致精度时，LSTM 仍可一战。

2.4 四种异常检测思路

预测误差法：训练模型预测下一时刻值，比较预测与实际。残差超阈值即异常。最直观、最常用，但对阈值敏感。

重构误差法：用 RNN 自编码器（编码器 RNN 压缩、解码器 RNN 还原），重构误差大即异常。能捕捉复杂模式，但训练时间长。

隐藏状态异常法：用正常数据学出"隐藏状态的正常轨迹"，新数据的隐藏状态偏离轨迹即异常。这个思路很有意思——它监控的不是输出，而是模型的"内心状态"。

概率模型法：让模型输出一个概率分布（如混合高斯输出层），实际值的概率低于阈值即异常。能给出"异常程度"的连续度量。

2.5 选型参考

三、工程实践要点

3.1 数据预处理对 RNN 家族尤其重要

RNN 对输入尺度、缺失值、异常污染极其敏感。训练数据必须是干净的"正常数据"——混入未标注异常，模型会把异常学成"正常预测模式"，永久漏报。归一化（Z-score）几乎必做：RNN 的 tanh/sigmoid 激活对输入尺度敏感，量纲差异会拖慢收敛甚至不收敛。

3.2 训练窗口的选择

RNN 的输入是固定长度的窗口。窗口太长，信息冗余、训练慢；太短，装不下依赖。经验做法：窗口长度取"你要捕捉的最长依赖"的 1–2 倍。 比如异常诱因通常在 1 小时内显现，窗口就取 1–2 小时对应的步数。

3.3 深度检测的"正常数据训练"纪律

RNN 家族（以及下一节的 AE/GAN/Transformer）都遵循"只用正常数据训练"的纪律：训练目标是"学正常的预测/重构"，异常因为"不符合正常规律"而残差大。这条纪律有两个推论：训练数据必须验证过干净；模型上线后要防概念漂移——业务一变化，原"正常"不再是正常，需要定期重训。

⚠️ 常见坑：把"预测误差小"当"检测效果好"。 模型预测准不代表能分清异常——关键在残差阈值的设定。残差阈值要结合第 7 章指标在验证集上调，而不是拍脑袋。

💡 关键直觉：RNN 家族检测的不是"值"，是"预期偏差"。 模型学到的是"按这个序列的历史，现在应该长什么样"，异常是"实际和预期对不上"。所以模型越懂这个序列的规律，检测越准——训练数据里规律的"纯粹度"，直接决定检测质量。

3.4 何时用 RNN 家族

适合：序列依赖明显且跨度长、模式复杂非线性、有足够算力和数据。不适合：序列短、模式简单、或需要毫秒级响应（RNN 推理是串行的，天然比不过统计方法）。

3.5 RNN 家族在检测场景的选型对照

把三代模型放到具体场景里，选型会清晰很多：

• 磁盘 IO 短序列预测（几十步内波动）→ 普通 RNN 可能就够，但更省的是统计方法。
• 机械设备健康监测（振动信号、数百步依赖、模式复杂）→ LSTM 预测误差或重构误差是主流选择，能抓到"几天前的载荷变化诱发今天异常"这类长依赖。
• 嵌入式/边缘设备（算力受限、要快）→ GRU，参数少、训练快，效果与 LSTM 相当。
• 超长序列（上万步）→ 纯 RNN 吃不住，考虑 Transformer 或分层建模。

一个经常被忽视的维度是"数据量"：LSTM 参数多，喂不饱就欠拟合。数据只有几千条时，宁可退一步用统计方法或树模型，也别硬上 LSTM——模型参数和样本量的匹配，是深度选型的第一道闸门。

3.6 RNN 检测的常见坑与排查

坑一：梯度爆炸。训练 loss 突然变成 NaN，多半是梯度爆炸——用梯度裁剪（clip by norm）解决。坑二：序列长度不齐。模型要求定长输入，长序列要切窗、填充或按长度分组 padding。坑三：训练集混入异常。第 6.1 节反复强调的纪律——异常一旦被学成"正常预测模式"，永久漏报。坑四：过拟合。时序数据有自相关性，随机切分验证会高估效果，必须按时间顺序切分验证。这四个坑几乎每个 RNN 检测项目都会踩，提前知道能省大量返工。

实战问答

问：LSTM 和 GRU 效果真的差不多吗？

多数基准任务上确实相当，GRU 还更快更省。选型的实际标准是资源与场景：算力紧张选 GRU，追求极致精度且算力充裕选 LSTM。差异远小于"用不用 RNN"和"数据够不够"这两个问题的影响。

问：RNN 的预测误差和重构误差，检测上有什么区别？

预测误差看"下一时刻猜得准不准"，适合突变检测；重构误差看"整段能不能还原"，适合模式破坏检测。预测误差更灵敏、重构误差更稳健——实践上常先试预测误差，漏报多再补重构。

问：RNN 比统计方法强在哪？

强在"非线性 + 长依赖"：统计方法（ARIMA）假设线性、依赖有限，RNN 能学非线性关系和长程记忆。但代价是数据量、算力和调参——数据模式简单时，ARIMA 又快又稳，何必上 RNN。

问：RNN 的隐藏状态能直接当特征用吗？

能，而且很常见——把 LSTM 最后一个时间步的隐藏状态当特征向量，喂给下游分类器或做聚类。"深度特征 + 传统判定"的混合路线，是兼顾表达力与可解释性的折中方案，第 7.3 节可解释性章节还会提到。

一节小结

• RNN用循环隐藏状态记忆过去，但梯度消失导致"记不长远"。
• LSTM用细胞状态（信息高速公路）+ 遗忘/输入/输出三门解决梯度消失，能记数百步依赖。
• GRU把三门简化为更新/重置两门，参数少、训练快，效果与 LSTM 相当。
• 四种检测思路：预测误差、重构误差、隐藏状态轨迹、概率模型——前两种最常用。
• 纪律：只用干净正常数据训练、输入归一化、窗口匹配最长依赖、防概念漂移。
• 适合长依赖复杂模式；不适合短序列、简单模式、毫秒级实时场景。

下一节，我们把视角从"时间轴"转向"形态"——CNN。卷积核在序列上滑动提取局部模式，配合格拉姆角场、马尔可夫转换场这些"转图像"的技巧，CNN 也能在时序检测里独当一面。