3.1 基于统计学的方法

3.1 基于统计学的方法

本节摘要：基于统计学的异常检测方法假设时序数据服从某种已知或可估计的分布，通过度量数据点与分布的偏离程度来判定异常。本节按参数方法（正态分布法、ARIMA、指数平滑）、非参数方法（箱线图、直方图、核密度估计）、距离方法（KNN）三类展开，给出各自的原理、公式、优缺点与适用场景，并总结"数据分布、异常类型、计算资源"三维选型法。

本节导航

阅读完本节，你应当能够：

1. 区分参数与非参数统计方法的核心差异。
2. 写出 Z-score 公式并说明阈值选择（2 或 3 倍标准差）的含义。
3. 解释箱线图用 1.5 倍 IQR 识别离群点的原理。
4. 说出 KDE 与直方图相比的优势与代价。
5. 按"数据分布、异常类型、计算资源"三维度为一个场景选出统计方法。

一、问题与直觉

假设你管着一座水电站的水位监测系统。水位数据基本上围绕一个平均值波动，偶尔上下起伏，但总体很规律。今天下午，水位突然涨了 3 米——这个数字在历史数据里从未出现过。

在这种"分布稳定、异常就是极端偏离"的场景里，最贵的深度学习模型反而多余。你需要的是一个几毫秒就能出结果、还能向值班工程师解释清楚的判断："这个水位偏离正常分布的程度有多大。" 这就是统计方法的天然主场。

统计方法的全部自信来自一个假设：数据服从某个可描述的分布。 正常数据集中在一个区域，异常落在远离它的地方。这个假设在制造业过程控制、电力系统监测、某些传感器场景里非常站得住——因为这些物理过程本身的分布就是稳定的。

但它的软肋同样来自这个假设：如果数据根本不服从你假设的分布（比如重尾、多峰、非平稳），统计方法要么误报，要么漏报。 所以用统计方法前，先问一句：我的数据真的"有规律"吗？分布真的稳定吗？如果答案是肯定的，统计方法往往是最优解——便宜、快、可解释。

二、核心原理

2.1 参数方法：先假设分布，再度量偏离

**正态分布法（Z-score）**是最典型的参数方法。假设数据服从正态分布，算出均值 μ 和标准差 σ，数据点与均值的偏离用 Z-score 度量：

Z = (x - μ) / σ
​

判断规则：|Z| > 阈值（通常 2 或 3）则视为异常。取 3 的含义是：正态分布下，偏离均值 3 个标准差的事件概率约 0.27%——小概率事件发生了，就有理由怀疑它。这套逻辑干净利落，但前提很硬：数据必须近似正态，否则 Z-score 的"小概率"结论根本不成立。

ARIMA 模型则从另一个角度用统计：拟合时间序列的自相关结构，预测未来值，实际值与预测值的残差超过阈值即判异常。它比 Z-score 高级的地方在于"认识到了时间依赖"——同样的值，出现在趋势爬坡期还是平稳期，异常程度完全不同。

指数平滑同样作为预测器使用：对历史加权平均预测下一时刻，实际值与预测的偏差作为异常信号。特点是简单快，但不捕捉自相关结构，复杂模式效果有限。

2.2 非参数方法：不假设分布

现实里很多数据根本谈不上"服从正态"。非参数方法不预设分布，直接利用数据本身的分布形态。

箱线图法：计算四分位数 Q1、Q2、Q3 和四分位距 IQR = Q3 − Q1，超出 Q1−1.5×IQR 到 Q3+1.5×IQR 范围的点视为离群。1.5 这个系数的妙处：对正态分布，这个范围大约覆盖 99.3% 的数据——和 3 倍标准差异曲同工，但不需要正态假设，只依赖分位数，对重尾分布稳健得多。

直方图法：把值域分成若干区间（bin），落在"几乎无人区"区间的点判为异常。简单，但对 bin 大小极敏感——bin 太大把小异常盖住，太小把正常点误判。

核密度估计 KDE：用核函数平滑地估计概率密度函数，把密度低于阈值的点判为异常。相比直方图，KDE 不做离散化、能逼近任意形状的密度函数，代价是计算量和对核函数（带宽）选择的敏感。

2.3 距离方法：离大家远就是异常

KNN 法：对每个点，计算它与 K 个最近邻的平均距离，平均距离远超整体水平的点判为异常。完全不假设分布，直观有效，但计算复杂度高（尤其大数据集），对 K 值敏感。

2.4 方法汇总对比

三、工程实践要点

3.1 三维选型法

对着场景问三个问题：

1. 数据分布已知吗？ 近似正态 → 直接上 Z-score；分布未知但稳定 → 箱线图/KDE；非平稳带趋势季节 → 先分解或差分再统计。
2. 要抓哪种异常？ 极端偏离 → 正态/箱线图；时序上的"该时刻异常" → ARIMA/指数平滑残差法；局部孤岛 → KNN。
3. 计算资源与实时性？ 在线高吞吐 → 指数平滑、Z-score；离线批处理 → KDE、KNN 可接受。

3.2 统计方法最容易被低估的价值

很多团队一听"统计方法"就觉得"太简单，不如上深度学习"。但统计方法有两个深度学习给不了的东西：毫秒级响应（检测系统往往要先扛住每秒上万点的流量）和完全可解释（"这个点偏离均值 3.4 倍标准差"这句话，值班员一听就懂、就能处置）。在监控类场景里，统计方法通常是"第一道防线"，深度学习是"第二道闸门"。

⚠️ 常见坑：对非平稳、带趋势的数据直接套 Z-score。 数据在爬坡时，每个点都偏离历史均值好几个标准差，全被标成异常——你的系统会变成"天天报警、没人信"。统计方法的前提是"分布稳定"，不满足就先去趋势/分解。

💡 关键直觉：统计方法的"假设"不是缺陷，而是它的说明书。 读懂了它假设什么（正态、平稳、分布稳定），你就能判断它适不适合你的数据；大多数统计方法误用，都是因为喂进去的数据违背了假设。

3.3 和后续方法的关系

统计方法常常不是终点，而是流水线的一环：先用统计方法做基线（第 4 章详细展开），跑起来收集误报/漏报样本，再决定是否升级到机器学习或深度学习。用统计方法打底，用漏报案例驱动升级，是异常检测落地最稳的路径。

3.4 统计方法在特定场景的实战对比

用一个具体的传感器监控案例把几种统计方法的"手感"对齐。假设你监控 50 台水泵的出口压力，正常值围绕 0.5 MPa 波动，标准差约 0.02 MPa，偶有尖峰：

• Z-score 法：把 |Z|>3（即压力偏离均值超过 0.06 MPa）判为异常。适合抓"大幅突刺"，但对 0.45–0.55 MPa 范围内的渐变漂移无感。
• 箱线图法：用 IQR 识别离群，对重尾分布更稳健，但同样只管"单点离群"。
• 指数平滑残差法：α 取 0.3，预测下一时刻压力，残差超阈值报警。它能"跟上"缓慢漂移——比如某台泵密封圈磨损，压力一周内从 0.5 缓降到 0.46，Z-score 全程不报警，指数平滑在降到 0.48 时就该报警了。
• ARIMA 残差法：对这 50 台泵各建一个轻量 ARIMA，能利用"每台泵自己的自相关结构"预测，比全局模型更贴身，但建 50 个模型有维护成本。

这份对比的结论很实用：如果监控对象是"过程稳定、异常是突刺"，Z-score 就够了；如果担心"渐变劣化"，必须上带记忆的预测类方法（指数平滑/ARIMA）。 很多工业故障恰恰是渐变型的——这正是"先上便宜的"原则里，需要往上升一级的地方。

3.5 统计方法的"假设检查"清单

用统计方法前，用三分钟过一遍假设检查：分布是否近似已知形态（正态？泊松？）；均值/方差是否随时间稳定（画个分箱均值图看看）；有没有明显趋势季节（有就去趋势）；异常是单点还是渐变（决定选哪把刀）。四条检查完，你基本能确定统计方法够不够用、用哪一把。这套检查的副产品，是帮你想清楚"为什么要选统计方法"——而不是看到方法名录随手抓一个。

实战问答

问：Z-score 的阈值到底用 2 还是 3？

默认 3（对应正态下 0.27% 小概率，误报可控）；想要更灵敏、能容忍多一点误报，用 2。先 3 后 2，用业务误报容忍度校准。

问：数据分布不是正态，Z-score 还能用吗？

能用但含义变了——3 倍标准差对应 0.27% 的结论是正态分布特有的。非正态数据建议改用箱线图/分位数（不假设分布）或先做变换。别硬把非正态数据塞进正态假设。

问：为什么统计方法在监控系统里这么"长寿"？

三个原因：毫秒级响应（在线高吞吐场景刚需）、完全可解释（"偏离均值 3.4 倍标准差"这句话谁都能懂）、几乎零训练成本（算个均值方差而已）。在很多场景里，"够用 + 快 + 说得清"比"最准"更值钱。

问：统计方法和机器学习到底谁先谁后？

先统计后机器学习。统计方法做基线最快、成本最低；跑起来后复盘漏报，漏掉的如果是"统计结构性看不到"的模式（上下文/复杂组合），再上机器学习。用漏报案例驱动升级，而不是凭感觉一步到位。 这套"先便宜后昂贵"的顺序，也决定了统计方法在整套检测体系里不可替代的"打底"地位——它不是过时的方法，而是起点的方法。

核心回顾

• 参数方法假设分布（正态法、ARIMA、指数平滑），干净利落但前提严格。
• 非参数方法（箱线图、直方图、KDE）不假设分布，稳健但各有代价。
• 距离方法（KNN）靠"离群即异常"，直观但计算重。
• Z-score：|Z|>3 即异常，对应正态下 0.27% 小概率；箱线图：1.5×IQR 约覆盖正态 99.3%，无需正态假设。
• 三维选型：数据分布、异常类型、计算资源——三个问题定位方法。
• 统计方法的价值在于快、可解释、可打底；深度学习的"第二道防线"要建立在统计基线的漏报案例之上。

下一节进入机器学习——当数据规律学不出来（非线性、复杂交互），就轮到模型自己从数据里学规律。监督、无监督、半监督三条路线怎么选，下一节见分晓。