偏差方差权衡:误差从何而来

偏差方差权衡:误差从何而来

本节摘要:每个模型的误差都来自三个来源之一——偏差(Bias)、方差(Variance)或噪声(Noise),你只能控制前两个。模型太简单(用直线拟合抛物线)会系统性偏离真实模式,这是偏差,是欠拟合;模型太复杂(15 个点用 20 次多项式)会完美拟合训练数据却在新数据上剧烈摇摆,这是方差,是过拟合。固定模型容量下,你无法同时压低两者——压偏差则方差升,压方差则偏差升。理解这个权衡是机器学习里最有用的诊断技能:它告诉你该让模型更复杂还是更简单、该加数据还是改特征、该正则更多还是更少。本节将推导期望预测误差的偏差方差分解,用自助采样 + 多项式拟合的实验把偏差²、方差、不可约噪声可视化,展示正则化如何用偏差换方差,并触及现代的「双重下降」现象——为何严重过参数化的神经网络反而泛化得很好。

学习目标

阅读完本节,你应当能够:

1. 推导期望预测误差的偏差方差分解,解释不可约噪声的角色。
2. 用训练/测试误差模式诊断模型是高偏差还是高方差。
3. 解释正则化技术(L1、L2、Dropout、早停)如何用偏差换方差。
4. 实现把偏差方差权衡在递增复杂度的模型上可视化的实验。

一、问题与直觉

你训练了模型,它在测试数据上有一些误差。这些误差从哪来?

如果模型太简单(曲线数据上用线性回归),它会持续错过真实模式,这是偏差。如果模型太复杂(15 个点上用 20 次多项式),它会完美拟合训练数据,却在新数据上给出天差地别的预测,这是方差。

固定模型容量下,你无法同时最小化两者。压低偏差,方差就升。压低方差,偏差就升。理解这个权衡是机器学习里最有用的单一诊断技能,它告诉你:该让模型更复杂还是更简单、该加数据还是改特征、该正则更多还是更少。

偏差:系统性误差

偏差度量模型平均预测偏离真实值多远。如果你在同一分布抽出的许多不同训练集上训练同一模型,再平均预测,偏差就是这个平均值与真值的差距。

高偏差意味着模型太死板,捕捉不到真实模式。用直线拟合抛物线,无论给多少数据都会错过曲线。这就是欠拟合。

高偏差(欠拟合):
  模型总是预测大致同一个错的东西。
  训练误差:高
  测试误差:高
  两者差距:小
​

方差:对训练数据的敏感度

方差度量你换不同数据子集训练时,预测变化多少。训练集的小变动导致模型大变动,方差就高。

高方差意味着模型在拟合训练数据里的噪声,而非底层信号。20 次多项式会穿过每个训练点,却在点之间剧烈震荡。这就是过拟合。

高方差(过拟合):
  模型完美拟合训练数据却在新数据上崩。
  训练误差:低
  测试误差:高
  两者差距:大
​

分解

对任意点 x,平方损失下的期望预测误差精确分解为:

期望误差 = 偏差² + 方差 + 不可约噪声

其中:
  偏差²   = (E[f_hat(x)] - f(x))^2
  方差    = E[(f_hat(x) - E[f_hat(x)])^2]
  噪声    = E[(y - f(x))^2]             (sigma²)
​

• f(x) 是真实函数
• f_hat(x) 是模型的预测
• E[...] 是对不同训练集取期望
• y 是观测标签(真实函数加噪声)

噪声项不可约。任何模型在带噪数据上都做不到比 sigma² 更好。你的工作是在偏差² 和方差之间找对平衡。

模型复杂度 vs 误差

经典的 U 形曲线:

正则化即偏差方差控制

正则化故意增偏差来降方差,约束模型使其不能追逐噪声。

• L2(Ridge):把所有权重往零收缩,保留所有特征但减弱影响。
• L1(Lasso):把部分权重恰好压到零,做特征选择。
• Dropout:训练时随机失活神经元,强制冗余表示。
• 早停:在模型完全拟合训练数据前停止训练。

正则化强度(lambda、dropout 率、epoch 数)直接控制你在偏差方差曲线上的位置。正则越多,偏差越大,方差越小。

双重下降:现代视角

经典理论说:过了甜点,更多复杂度总会有害。但 2019 年以来的研究显示了意外现象。如果你把模型容量推到远超插值阈值(模型参数多到能完美拟合训练数据),测试误差可能再次下降。

这个「双重下降」现象解释了为何严重过参数化的神经网络(参数远多于训练样本)仍能泛化。经典偏差方差权衡不是错的,但在现代区间里不完整。

关键观察:

• 它在线性模型、决策树、神经网络里都发生
• 在插值区里,更多数据反而可能有害(样本维度双重下降)
• 更多 epoch 也能触发(epoch 维度双重下降)
• 正则化削平峰值但不消除它

为何如此?插值阈值处,模型恰好有足够能力拟合所有训练点,被迫进入一个穿过每个点的特定解,数据小扰动就引起拟合大变化——方差在此达到峰值。过了阈值,模型有许多能完美拟合数据的解,学习算法(如带隐式正则的梯度下降)倾向于挑其中最简单的。这种对简单解的隐式偏好,就是过参数化模型能泛化的原因。

实践上:用神经网络或大树集成时,别停在插值阈值处,要么远低于它(加显式正则),要么远高于它。最糟的位置恰在阈值处。

诊断你的模型

实践策略

偏差是问题时:

• 加多项式或交互特征
• 用更灵活的模型(树集成代替线性)
• 降正则强度
• 训练更久(若未收敛)

方差是问题时:

• 拿更多训练数据
• 用 Bagging(随机森林)
• 增正则(更高 lambda、更多 Dropout)
• 特征选择(去噪特征)
• 用交叉验证尽早发现

集成方法与降方差

集成方法是对抗方差最实用的工具。

Bagging(自助聚合) 在不同的自助样本上训练多个模型,再平均预测。每个单独模型方差高,但平均值方差低得多。随机森林就是 Bagging 套到决策树上。

数学上为何有效:若你平均 N 个独立预测,每个方差 sigma²,平均的方差是 sigma²/N。模型并非真独立(看的数据相似),所以降幅小于 1/N,但仍可观。

Boosting 通过顺序建模型降偏差,每个新模型聚焦集成目前的错误。梯度提升和 AdaBoost 是主要例子。Boosting 加太多模型会过拟合,需要早停或正则。

实践规则:基模型高方差(深树、高次多项式)用 Bagging;基模型高偏差(浅树桩、简单线性)用 Boosting。

学习曲线

学习曲线把训练和验证误差画成训练集大小的函数,是你最实用的诊断工具。不像单次训练/测试对比,学习曲线展示模型的轨迹,告诉你加数据是否有用。

怎么读:

关键洞见:若两线都已平台化、差距小但都高,加数据无用,你需要更好的模型。若差距大且仍在缩,加数据有用。

如何生成学习曲线

两种做法:

做法 1:变训练集大小,固定模型。 保持模型和超参数不变,在越来越大的训练子集上训练,在每个大小测训练误差和验证误差。这是标准学习曲线。

做法 2:变模型复杂度,固定数据。 保持数据不变,扫一个复杂度参数(多项式次数、树深、层数),在每个复杂度测训练误差和验证误差。这是验证曲线,直接展示偏差方差权衡。

两种互补。前者告诉你加数据是否有用,后者告诉你换模型是否有用。做决定前两种都跑。

二、从零实现

code/bias_variance.py 跑完整的偏差方差分解实验。逐步来看。

第 1 步:从已知函数生成合成数据

用 f(x) = sin(1.5x) + 0.5x 加高斯噪声。知道真函数让我们能算精确的偏差和方差。

def true_function(x):
    return np.sin(1.5 * x) + 0.5 * x

def generate_data(n_samples=30, noise_std=0.5, x_range=(-3, 3), seed=None):
    rng = np.random.RandomState(seed)
    x = rng.uniform(x_range[0], x_range[1], n_samples)
    y = true_function(x) + rng.normal(0, noise_std, n_samples)
    return x, y
​

第 2 步:自助采样与多项式拟合

对每个多项式次数,抽多个自助训练集,拟合多项式,记录在固定测试网格上的预测。这给出每个测试点的预测分布。

def fit_polynomial(x_train, y_train, degree, lam=0.0):
    X = np.column_stack([x_train ** d for d in range(degree + 1)])
    if lam > 0:
        penalty = lam * np.eye(X.shape[1])
        penalty[0, 0] = 0
        w = np.linalg.solve(X.T @ X + penalty, X.T @ y_train)
    else:
        w = np.linalg.lstsq(X, y_train, rcond=None)[0]
    return w
​

我们在 200 个不同自助样本上拟合,每个来自同一分布但含不同点。

第 3 步:计算偏差²、方差分解

每个测试点上有 200 组预测,可直接按定义算分解:

mean_pred = predictions.mean(axis=0)
bias_sq = np.mean((mean_pred - y_true) ** 2)
variance = np.mean(predictions.var(axis=0))
total_error = np.mean(np.mean((predictions - y_true) ** 2, axis=1))
​

• mean_pred 是用自助样本估计的 E[f_hat(x)]
• bias_sq 是平均预测与真值的平方差距
• variance 是自助样本间预测的平均 spread
• total_error 应近似等于 偏差² + 方差 + 噪声

第 4 步:学习曲线

学习曲线扫训练集大小、固定模型复杂度,显示你是数据受限还是容量受限。

def demo_learning_curves():
    sizes = [10, 15, 20, 30, 50, 75, 100, 150, 200, 300]
    degree = 5

    for n in sizes:
        train_errors = []
        test_errors = []
        for seed in range(50):
            x_train, y_train = generate_data(n_samples=n, seed=seed * 100)
            w = fit_polynomial(x_train, y_train, degree)
            train_pred = predict_polynomial(x_train, w)
            train_mse = np.mean((train_pred - y_train) ** 2)
            test_pred = predict_polynomial(x_test, w)
            test_mse = np.mean((test_pred - y_test) ** 2)
            train_errors.append(train_mse)
            test_errors.append(test_mse)
        # 对多次运行平均得到学习曲线点
​

高方差模型(5 次小数据)你会看到:训练误差起低、随数据增多而升(记忆变难);测试误差起高、随模型获得更多信号而降;差距随数据缩小。

高偏差模型(1 次)两误差都快速收敛到同一高值,加数据无用。

第 5 步:正则化扫描

代码还含 demo_regularization_sweep(),固定高次多项式(15 次),把 Ridge 正则强度从 0.001 扫到 100,从另一角度展示偏差方差权衡:不调模型复杂度,调约束强度。

def demo_regularization_sweep():
    alphas = [0.001, 0.005, 0.01, 0.05, 0.1, 0.5, 1.0, 5.0, 10.0, 50.0, 100.0]
    for alpha in alphas:
        results = bias_variance_decomposition([15], lam=alpha)
        r = results[15]
        print(f"alpha={alpha:.3f}  bias={r['bias_sq']:.4f}  var={r['variance']:.4f}")
​

低 alpha 时,15 次多项式几乎不受约束,方差主导(每个自助样本都追噪声)。高 alpha 时,惩罚强到模型变成近乎常数,偏差主导。最优 alpha 在两者之间。

这与扫多项式次数得到的 U 形曲线一样,只是用连续旋钮而非离散的。实践中正则是控制权衡的首选方式,因为它允许细粒度控制而无需改特征集。

三、框架对比

sklearn 提供 learning_curve 和 validation_curve 自动化这些诊断,无需手写自助循环。

验证曲线:扫模型复杂度

from sklearn.model_selection import validation_curve
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import Ridge

degrees = list(range(1, 16))
train_scores_all = []
val_scores_all = []

for d in degrees:
    pipe = make_pipeline(PolynomialFeatures(d), Ridge(alpha=0.01))
    train_scores, val_scores = validation_curve(
        pipe, X, y, param_name="polynomialfeatures__degree",
        param_range=[d], cv=5, scoring="neg_mean_squared_error"
    )
    train_scores_all.append(-train_scores.mean())
    val_scores_all.append(-val_scores.mean())
​

这直接给你偏差方差权衡曲线。验证分相对训练分最差处,方差主导;两者都差处,偏差主导。

学习曲线:扫训练集大小

from sklearn.model_selection import learning_curve

pipe = make_pipeline(PolynomialFeatures(5), Ridge(alpha=0.01))
train_sizes, train_scores, val_scores = learning_curve(
    pipe, X, y, train_sizes=np.linspace(0.1, 1.0, 10),
    cv=5, scoring="neg_mean_squared_error"
)
train_mse = -train_scores.mean(axis=1)
val_mse = -val_scores.mean(axis=1)
​

把 train_mse 和 val_mse 对 train_sizes 画图,形状告诉你模型的一切。

四、可复用产物

本节产出 outputs/prompt-model-diagnostics.md——一个模型诊断提示词。喂给它训练/验证误差和学习曲线,它会判断你是高偏差还是高方差,推荐具体修复(加数据、正则、换模型、改特征),并给出下一步该跑的诊断。

五、练习

1. 用 noise_std=0(无噪声)跑分解。不可约误差项会怎样?最优复杂度变吗?
2. 把训练集从 30 增到 300。方差分量怎么变?最优多项式次数会移吗?
3. 给实验加 L2 正则(Ridge)。固定高次多项式(15 次),把 lambda 从 0 扫到 100,画偏差² 和方差对 lambda 的曲线。
4. 把真函数从多项式改成 sin(x)。偏差方差分解怎么变?还有清晰的最优次数吗?
5. 实现简单的自助聚合(Bagging)包装器:在自助样本上训练 10 个模型平均预测。展示它能降方差而几乎不增偏差。

本节要点回顾

1. 误差三来源:偏差(系统性偏离)、方差(对数据敏感)、不可约噪声(数据本身随机),只能控制前两个。
2. 偏差高=欠拟合:训练高、测试高、差距小,加数据无用,要更复杂模型或更多特征。
3. 方差高=过拟合:训练低、测试高、差距大,加数据有用,要正则或简单模型。
4. 期望误差 = 偏差² + 方差 + 噪声:平方损失下精确分解,找偏差²+方差最小的甜点。
5. 正则化用偏差换方差:L2 收缩权重、L1 压零做选择、Dropout 强制冗余、早停在过拟合前停。
6. 双重下降:过插值阈值后,过参数化模型靠隐式正则反而降测试误差;最糟位置恰在阈值处。
7. 集成降方差或降偏差:Bagging 降方差(平均独立预测方差除 N)、Boosting 降偏差(顺序纠错)、高方差基模型用 Bagging、高偏差基模型用 Boosting。
8. 学习曲线是头号诊断:扫训练集大小,差距大且验证仍降则加数据、差距小且都高则换模型。
9. 两种曲线互补:学习曲线(变数据)告诉你加数据是否有用,验证曲线(变复杂度)告诉你换模型是否有用。

下一节,我们系统讲集成方法——Bagging、Boosting、Stacking 如何把弱学习器组合成强学习器。