4.2 CNN与TCN对照RNN

4.2 CNN 与 TCN 对照 RNN

本节摘要：一维卷积把时间序列当一条可滑动的线，核抓局部形态，训练可在时间维并行。朴素 CNN 感受野短，SOURCE 要求用堆叠、扩张卷积、残差去够长依赖。时间卷积网络把因果、扩张、残差写成默认。对照 RNN：并行和稳定梯度是优势；真正的逐步状态记忆和变长是劣势。

学习目标

阅读完本节，你应当能够：

1. 说明一维核长度、步长、填充如何决定局部模式尺度
2. 用因果卷积解释为什么预测不能用未来点做填充
3. 画出扩张率按 1、2、4 涨时感受野如何指数变长
4. 在“局部形态丰富、依赖中长、要训练快”时优先试 TCN 而不是先上 LSTM

一、卷积在时间上滑的是形状，不是状态

SOURCE 把 CNN 从图像挪过来：局部感受野、权值共享。一维里，每个变量可以当通道，核在时间轴上滑。变电站日负荷的“早峰形状”是一个局部模板，卷积核比逐步 RNN 更直接地匹配这种模板。RNN 要在状态里慢慢攒出“这是早峰”，卷积一眼扫过几个点就能激活。

数据怎么喂：单变量就是一条通道；多变量每变量一通道；再切滑动窗口当样本。核长度决定看多宽的局部：短核抓尖刺，长核抓峰形。步长大于 1 等于下采样。填充决定两端。预测任务的填充必须是因果的：只能在左侧（过去）垫，不能在右侧垫未来。图像里常用的两端补零，在预报上等于作弊。

池化在 SOURCE 的示例流程里出现，用来降维、抗小扰动。预报里我对齐更在意：最大池化会把峰值时刻挪糊。更常改用步长卷积降长度，或干脆保持长度，用卷积堆出感受野。ReLU 仍是默认非线性，计算便宜，也减轻饱和。

因果：h[t] 只依赖 x[<=t]
非因果：h[t] 能看见 x[t+1]，预报非法
扩张：核元素之间插入空洞，感受野变长、参数几乎不增
​

二、TCN：把三条补丁写成默认配置

SOURCE 点名：难以直接长依赖，需堆叠、扩张、残差。时间卷积网络就是这三件套的常用名字。扩张率常取 2 的幂，每层感受野大约按指数涨。残差让深层可训，避免堆层之后梯度再消失——注意，这里的梯度路径是层深，不是时间长，和 RNN 的沿时间连乘不是同一条伤。

对照 RNN 的关键数字是墙钟时间和感受野是否盖住业务滞后。负荷的日季节在 15 分钟采样下是 96 步，TCN 几层扩张就能盖住；RNN 要跑完 96 步串行。周季节 672 步，TCN 仍可设计盖住；LSTM 也能跑，只是慢、且早段梯度更稀。

TCN 的短板：窗口通常仍要定长；中间没有一个可读写的细胞，对“偶尔要把三周前某个事件精确取出来”不如注意力直接。变长事件序列要填充。超参多了扩张谱，乱设会出现覆盖空洞：某些滞后恰好落在核的洞里，永远看不到。对照时把扩张谱画成感受野覆盖图，别只报层数。

图 扩张卷积感受野对照逐步 RNN

三、什么时候 CNN 赢，什么时候别用

局部模板重复出现：日负荷形状、冷库开门后的升温曲线，卷积往往比 RNN 更快拟合。训练预算紧、要扫很多对照，TCN 墙钟更友好。需要一个逐步解码器做任意长生成，RNN 仍更顺手——当然也可以卷积编码、循环解码，那是混合，放到 4.5。

SOURCE 示例流程是 Conv-激活-池化-再卷积-展平-全连接。展平加全连接会把剩余时间结构压掉，适合单步点预测。多步直接输出也可以从最后时间位置取特征再投影到 H 维，不必展平全部时间。我更倾向保留时间维直到预测头，避免过早拍扁。

⚠️ 常见坑：用普通 Conv1D 默认的两端填充做预报，验证集含未来，上线立刻掉点。
💡 关键直觉：卷积赢在形状匹配和并行；RNN 赢在状态记忆和变长。依赖长度能被感受野盖住时，优先并行那一侧。

港口周班期若非常刻板，核长度取 7、扩张盖住数周，TCN 会把班期当局部周期学走。若班期经常因台风改，事件通道仍要手搓，卷积自己发现不了尚未发生的改期。

四、感受野覆盖图必须画，不能只报层数

设核长 3、扩张 1、2、4、8，粗算每层额外覆盖，叠起来应盖住主季节。盖不住日周期，再深的残差也只是在日内局部打转。盖得过远、样本又少，边缘权重不稳。覆盖图和 PACF 高峰对齐，是 TCN 相对 LSTM 的作业：LSTM 用隐藏维假装“应该能记住”，TCN 必须承认看见或没看见。

因果检查用一招很土：把输入窗口最后几个点改成极端值，若当前步输出巨变，说明看见了“未来位置”——对预报而言那是窗口右端，若你的对齐把右端当未来，就非法。更常见的是库默认 same 填充从两端垫。审查配置比审查论文结构重要。

池化对齐问题在多步头上更明显。最大池化把峰值时刻抹糊，直接多输出的某一 horizon 会对不齐真实高峰。能不池就用步长或膨胀来降长度。SOURCE 示例流程含池化，那是分类或单步展平的惯性，预报要改。

墙钟对照应同一硬件、同一窗口、同一 epoch 上限。TCN 赢墙钟、LSTM 赢那么一点误差时，选谁看推理时钟（第 6.5 节）。离线比赛只报误差会把 TCN 的主优势藏掉。把时延列进第 4 章日志，本章才算对照完整。

五、墙钟与因果是卷积的两张名片

同一硬件同一窗口报误差和时延。只报误差会把 TCN 主优势藏掉。因果检查：改窗口右端极端值若当前输出巨变，审查是否两端填充。库默认 same 填充是预报常见作弊。池化抹糊峰值时刻，多步头更伤，能不池就用步长或扩张降长度。SOURCE 示例含池化，那是分类惯性。感受野覆盖图必须画，核长与扩张叠起来要盖住主季节。盖不住日周期，残差再深也在日内打转。变长仍需填充，这是对 RNN 的短板，对照时写明，不要假装卷积万能。

六、局部模板重复出现时卷积常更快拟合

日负荷早峰形状、开门后升温曲线，核比逐步状态更直接匹配。训练要扫很多对照时，墙钟友好是主优势。逐步任意长生成仍可能循环更顺手，那是混合候选，等单族失败。过早展平丢掉剩余时间结构，多步头尽量保留时间维直到预测头。SOURCE：难以直接长依赖，需堆叠扩张残差；训练快并行好。把这三句当 TCN 说明书，不要当 CNN 已经过时。

覆盖空洞是隐藏硬伤：层很多，某些滞后落在洞里。覆盖图与 PACF 高峰对齐。事件通道仍要手搓，卷积发现不了尚未发生的改期。变长要填充。因果是预报底线，两端填充审查列入数据契约。时延列进日志，离线只报误差会藏住卷积相对 RNN 的主对照优势。

问题：感受野盖住季节就一定赢 RNN 吗？

不一定。盖住只说明看得见，不说明状态记忆不需要。偶尔要把三周前某次跳闸精确取出来，注意力比空洞核更直接。但日形状重复的负荷上，看得见且并行，通常已够把 LSTM 从默认位置请走。墙钟同一硬件比。因果审查改右端极端值。池化对多步对齐有害。班期刻板时核长取 7 很香，班期因台风改则事件通道仍要手搓。变长填充是短板，写进对照表。SOURCE 点名扩张残差补长依赖，把 TCN 当这三件套的默认名，而不是又一个缩写崇拜。过早展平会让多步头丢掉时间维，能留就留。

卷积对照的作业是一张覆盖图加一次因果审查加一列时延。覆盖图要求核与扩张叠起来看见主季节，看不见日周期就不要怪残差连接不够深。因果审查把窗口右端改成极端值，当前步输出若巨变，去查两端填充。时延与误差同一硬件记录，只报误差会藏住并行优势。局部模板重复的负荷与升温曲线，核通常比逐步状态更快拟合。三周前一次跳闸要精确取出时，空洞核不如对齐机制，那是换族的理由，不是把核加长到荒谬。班期刻板核长取七，班期常改则事件通道手搓。变长要填充，写进短板。池化抹糊峰值时刻，多步头尽量不用。过早把时间维展平，后面的多步投影会对不齐高峰。把这几句当卷积说明书，比再背一层卷积公式有用。

把覆盖图、因果审查、时延三件套当成卷积族的上岗证。缺覆盖图等于不知道看见没看见季节。缺因果审查等于可能用未来填充作弊。缺时延等于把并行优势藏起来只比误差。三件套通过后，再问局部模板是否重复、远事件是否需要精确取出、变长是否可接受填充。模板重复则卷积优先；远事件精确取则考虑对齐机制；变长不可填充则循环仍有位置。班期核长与事件掩码不要互相替代。池化与展平在多步头上默认不开。上岗证通过之前调核大小，属于在非法或看不见的条件下搜超参，结论作废。把三件套写入数据契约同一版本号，换硬件重测时延即可，覆盖与因果不必每次重画，除非窗口或采样率变了。

采样率一变，覆盖图必须重画，旧的扩张谱会突然看不见日周期。这是卷积族相对循环的额外维护成本，写进契约以免上线后才发现季节被挖空。

七、并行优势要写进选型理由

卷积若只在误差上略输循环、却在同硬件时延上明显更短，选型理由应写墙钟，不要写误差第二所以不用。离线比赛隐藏时延，会把卷积的主对照优势删掉，团队就会继续叠循环层。把时延写进理由栏，因果卷积才有资格作为循环的替代，而不是作为又一个要打榜的缩写。

本节速览

• 一维卷积滑的是局部形状，通道可对应多变量
• 预报必须因果卷积，右侧填充非法
• SOURCE：长依赖靠堆叠、扩张、残差，TCN 即此默认
• 扩张谱要检查覆盖空洞，不能只报层数
• 并行和墙钟是对 RNN 的主对照优势
• 过早展平会丢掉剩余时间结构，多步头尽量保留时间维

下一节用注意力一步对齐任意过去步，看它如何同时补 RNN 的忘和卷积的感受野上限。