2.2 数据平滑与去噪技术
2.2 数据平滑与去噪技术
本节摘要：原始时间序列常被高频噪声污染，直接影响检测精度。本节对比四类主流去噪技术——移动平均（SMA/WMA/EMA）、指数平滑（SES/DES/TES）、Savitzky-Golay 滤波器、小波变换，逐项说明原理、参数、优点与代价，重点讲清"平滑力度"与"保形能力"这对核心矛盾，并给出按数据特征选型的方法论。去噪的目标不是把曲线变光，而是让真实异常在噪声背景中凸显出来。
核心问题
阅读完本节，你应当能够：
- 说清移动平均的窗口滞后特性，以及 SMA、WMA、EMA 的权重差异。
- 区分简单、双、三指数平滑各自适用的序列形态。
- 解释 Savitzky-Golay 为什么能在去噪时保留峰值，并说出它的两个核心参数。
- 说明小波变换"时频局部化"能力对去噪的意义。
- 按"噪声强度、异常形态、实时性"三要素为给定数据选出去噪方案。
一、问题与直觉
振动传感器贴在轴承上，每秒采样 256 次。理想情况下，这条曲线应该平稳地反映轴承的磨损状态。但现实里，电机本身的电磁干扰、安装支架的共振、采样电路的量化误差，全都会叠加上去，变成高频毛刺。你盯着波形图，眼睛都看花了——毛刺和小裂纹导致的早期异常信号，在噪声里根本分不出来。
这就是去噪要解决的矛盾：噪声掩盖了信号，但你不知道哪些毛刺是噪声、哪些毛刺是故障前兆。 一个直觉但危险的做法是"把曲线抹平"——移动平均窗口拉大，曲线确实光滑了，但故障早期那种"细微但持续"的形态也被抹掉了。
去噪的工程本质是信噪比博弈：每抹掉一分噪声，都可能在抹掉一分真实异常。所以真正的技巧不是"选一个去噪最强的算法"，而是根据你关心的异常形态，选一个"噪声去得掉、异常留得住"的算法。这也是本节所有方法对比的唯一主线。
二、核心原理
2.1 移动平均法：最简单的低通滤波器
移动平均计算窗口内数据的平均值，是最朴素也最常用的一类平滑。三种变体：
- 简单移动平均 SMA：窗口内所有点等权。窗口越大越平滑，但滞后越严重——移动平均输出永远"慢半拍"，窗口为 k 时滞后约 (k-1)/2 个点。
- 加权移动平均 WMA：越靠近当前的点权重越高，缓解滞后。
- 指数移动平均 EMA：权重随时间呈指数衰减，只需记住一个平滑值，计算效率最高。
移动平均的两个硬伤必须记住：一是滞后性，检测任务里滞后意味着"报警慢"，对实时监控不可接受；二是无法处理缺失值，窗口内有空就要特殊处理。
2.2 指数平滑法：用衰减权重做预测
指数平滑的核心思想：越近的数据越重要，权重按指数衰减。它本质是一套预测器，平滑值与"对下一时刻的预测"等价——这一点让它天然适配"预测残差式"异常检测。
三种模型对应三种序列形态：
- 简单指数平滑 SES：无趋势、无季节的序列。
S(t) = α·x(t) + (1-α)·S(t-1)，α 越大对近期越敏感。 - 双指数平滑 DES：有趋势、无季节。多一个趋势分量 b(t)，能跟随线性趋势。
- 三指数平滑 TES（Holt-Winters）：有趋势又有季节。再加季节性分量，是异常检测里很实用的"带季节感知"的基线预测器。
关键参数是平滑系数 α：α 大，反应灵敏但易受噪声干扰；α 小，平滑稳但反应迟钝。选 α 没有银弹，交叉验证是最靠谱的路子。
2.3 Savitzky-Golay：能保峰值的平滑
S-G 滤波器与移动平均最大的区别：它在一个滑动窗口内用最小二乘法拟合一个 n 阶多项式，用多项式在窗口中心点的值替代原始值。
这带来一个宝贵性质：它能平滑高频噪声，同时保留峰谷的形状。 普通移动平均会把尖峰削平（峰被均摊到整个窗口），而 S-G 拟合的多项式会"兜住"峰的形状。对异常检测来说，这非常关键——很多真实异常恰恰表现为尖锐的脉冲或微小的峰谷变化，S-G 去噪后它们仍然可见。
两个核心参数：窗口长度 window_length（通常取奇数，越大越平滑）和多项式阶数 polyorder（越高越保形，但过高会过拟合噪声、放大振荡）。经验法则：窗口越大、阶数越低，平滑越强；要保尖峰就适当提高阶数。
2.4 小波变换：时频两把尺子
前面三种方法都在"时间域"里干活。小波变换则把信号同时按"时间"和"频率"两个维度拆解——这是它最独特的优势。
原理一句话：小波是"一小段会衰减的波"，不同尺度的小波对应不同频率，小波变换把信号分解成不同频率分量。去噪时，把高频分量（通常是噪声）做阈值收缩或置零，再重构信号。
为什么这对去噪有用？因为真实异常往往集中在某个特定频带——比如机械故障的特征频率，而噪声是宽频的。小波能"只动高频、不动低频"（保留趋势），也能"只动某个频带"（保留故障特征频率），比全局低通滤波精细得多。代价是计算量更大、参数（小波基、分解层数、阈值策略）更讲究，需要一定的信号处理功底。
2.5 四法对比
| 方法 | 平滑力度 | 保形能力 | 实时性 | 计算成本 | 典型适用 |
|---|---|---|---|---|---|
| 移动平均 | 强（窗口大则强） | 弱（削峰） | 高 | 极低 | 快速预览、慢变指标 |
| 指数平滑 | 可调（α） | 中 | 高 | 极低 | 预测基线、在线检测 |
| Savitzky-Golay | 可调 | 强（保峰谷） | 中 | 低 | 传感器信号、尖峰敏感场景 |
| 小波变换 | 频带级精细 | 强（可只留特征频带） | 低 | 高 | 振动/声学信号、复杂噪声 |
三、工程实践要点
3.1 三要素选型法
面对去噪需求，先回答三个问题再选刀：
- 噪声长什么样？ 白噪声（均匀高频）用移动平均或 S-G 都行；有色噪声（集中在某频段）优先小波。
- 异常长什么样？ 尖峰脉冲 → S-G 或小波（保留峰形）；渐变漂移 → 移动平均或指数平滑（对形态不敏感）。
- 要不要实时？ 在线流式检测只能用 EMA 这类递推方法（只依赖上一个平滑值），S-G 和小波都需要整段窗口。
3.2 去噪强度必须对标检测粒度
窗口/参数的选择要跟"你想检测的异常的时间尺度"匹配。如果你想抓秒级的瞬态异常，却用了一小时的移动平均去噪——异常早被抹没了。一个实用校验：去噪后，把已知异常段画出来确认它还在。
⚠️ 常见坑：为了"图好看"把曲线抹得过分光滑。 平滑到极致的结果是"曲线很美，异常全没了"。异常检测里的去噪，目标从来不是美学上的光滑，而是信噪比的提升——噪声压下去了，异常信号要原封不动。
💡 关键直觉：去噪是给检测算法"调视角"，不是给数据"化妆"。 选去噪方法前先想清楚你要找的异常在什么尺度上——时间上持续多久、频率上集中在哪，然后用匹配的窗口/频带去处理。
3.3 与分解、检测的衔接
现实流水线里，去噪往往和分解配合：先用移动平均或 S-G 估趋势，剥离后对残差再做精细检测；或在小波域里直接把高频噪声阈值化，再重构干净信号。记住一个原则：去噪的产出不是"最终结果"，而是"一个让检测算法更好工作的输入"。 如果去噪后检测结果反而变差，先怀疑去噪过度，而不是怀疑检测算法。
3.4 去噪方法速查决策树
把上面的选型逻辑压缩成一张决策树，方便现场用：
- 噪声形态：均匀高频白噪声 → 移动平均/S-G；集中在某频段的有色噪声 → 小波。
- 异常形态：要保尖峰脉冲 → S-G 或小波（保形）；抓渐变漂移 → 移动平均/指数平滑。
- 实时要求：在线流式 → 只用 EMA（递推）；离线批处理 → 其余三种均可。
- 参数经验：移动平均窗口取异常持续时间量级；S-G 窗口奇数、阶数 2–4 起步；小波先选 db4 基、看分解层数的能量分布。
这套决策树的另一面是"反选"：如果你的数据场景同时要求"实时 + 保尖峰 + 强去噪"，三种需求相互打架，说明单靠去噪解决不了——这时要调整的是检测策略（比如改用对噪声稳健的密度方法，见第 4.4 节），而不是继续压去噪参数。
3.5 一个去噪过度的真实案例
某团队给轴承振动信号做检测，为了"让波形更好看"，把 S-G 的窗口拉到 51、阶数降到 1（等于强平滑）。结果模型训练完成后，对"早期微小裂纹"的检测准确率反而从 82% 掉到 61%。复盘发现：窗口 51 把"裂纹早期那种持续 2–3 个采样点的细微尖峰"直接抹平了——模型根本没机会学到这类异常的样子。后来把窗口压回 9、阶数提到 3，尖峰保住了，准确率回升到 79%。 这个故事不是 S-G 的错，是"去噪强度与异常尺度不匹配"的典型教训——值得每个做时序检测的人记住。
实战问答
问：移动平均和指数平滑，什么时候用哪个？
移动平均（尤其 SMA）简单直观，适合快速预览和平滑慢变指标；指数平滑是递推式的，内存占用恒定、天然适合在线流式。要"跟上变化"选 EMA，要"绝对平滑"选大窗口 SMA。
问：S-G 的多项式阶数越高越好吗？
不是。阶数越高越保形，但过高会"过拟合噪声"——多项式把噪声的细节也拟合进去了，平滑效果消失，甚至放大振荡。经验：从 2–3 阶起步，看平滑效果和保形效果的平衡。
问：小波去噪为什么比移动平均"高级"？
因为移动平均是"一刀切"的低通滤波——高频全砍，不管砍掉的是噪声还是高频异常；小波能"分频带处理"——只对噪声集中的频带下手，保留故障特征频率所在的频带。代价是参数更多、需要信号处理功底。
问：去噪后检测效果反而变差，先查什么？
先查"异常信号还在不在"：把已知异常段画出来，看它是否被去噪抹掉。如果异常还在，再查参数（窗口/阶数/频带）是否匹配异常时间尺度。去噪是给检测服务的，检测变差永远先怀疑去噪过度。
要点串联
- 去噪的本质是信噪比博弈：每抹一分噪声，都可能抹掉一分真实异常，选型要围绕异常形态展开。
- 移动平均三变体（SMA/WMA/EMA）简单高效，但窗口越大滞后越严重、削峰越厉害。
- 指数平滑是预测器，SES/DES/TES 分别适配无趋势/有趋势/趋势+季节三种序列，α 是关键参数。
- Savitzky-Golay 用多项式拟合窗口，能去噪且保峰谷，window_length 与 polyorder 决定平滑/保形权衡。
- 小波变换在时频两域分解信号，能精准处理特定频带，适合复杂噪声场景但成本高。
- 三要素选型：噪声形态、异常形态、实时性——在线检测只能用递推式平滑。
下一节我们把"信号拆开"——趋势、季节、残差三件套。分解后的残差是异常检测最干净的战场，也是全书多个算法共同依赖的预处理骨架。