3.3 参数调优方法论：从网格到贝叶斯

3.3 参数调优方法论：从网格到贝叶斯

调参的性价比取决于搜索策略与参数顺序的组合：网格适合低维、随机适合高维、贝叶斯适合昂贵评估；顺序上先定步长步数，再调树形，最后动正则与采样。 本节用同一数据集跑通三种搜索，对比成本与结果，并给出可直接照搬的三步流程。

前两节把参数讲透了，本节回答工程问题：参数空间这么大，算力有限，怎么搜才不浪费？两个知识点：三种搜索策略的适用边界、分层调参顺序背后的敏感度逻辑。

一、三种搜索策略同台

网格搜索把每个参数切格子全部试一遍，维度一高组合数爆炸（5 个参数各 5 档就是 3125 次训练）。随机搜索在同样的预算内随机撒点，重要参数恰好有几个好值的概率更高——Bergstra 与 Bengio 的经典论文证明，多数参数空间里只有少数维度敏感，随机采样"覆盖敏感维度"的效率远超网格。贝叶斯优化（如 Optuna 采用的 TPE）更进一步：每轮用历史评估建代理模型，把下一个试验点押在最可能出好结果的区域，适合单次训练很贵的场景。

import numpy as np, time
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split, GridSearchCV, RandomizedSearchCV
from scipy.stats import uniform, randint
import xgboost as xgb

housing = fetch_california_housing()
Xtr, Xte, ytr, yte = train_test_split(housing.data, housing.target,
                                      test_size=0.2, random_state=0)
base = xgb.XGBRegressor(n_estimators=100, tree_method='hist', random_state=0)

param_grid = {'max_depth': [3, 6], 'min_child_weight': [1, 5],
              'subsample': [0.7, 1.0], 'colsample_bytree': [0.7, 1.0]}
t0 = time.perf_counter()
gs = GridSearchCV(base, param_grid, cv=3, scoring='neg_root_mean_squared_error')
gs.fit(Xtr[:4000], ytr[:4000])
print(f"网格  试验数={16*3:<4} 最优depth={gs.best_params_['max_depth']} 耗时={time.perf_counter()-t0:.1f}s")

param_dist = {'max_depth': randint(3, 10), 'min_child_weight': randint(1, 8),
              'subsample': uniform(0.5, 0.5), 'colsample_bytree': uniform(0.5, 0.5)}
t0 = time.perf_counter()
rs = RandomizedSearchCV(base, param_dist, n_iter=16, cv=3, random_state=0,
                        scoring='neg_root_mean_squared_error')
rs.fit(Xtr[:4000], ytr[:4000])
print(f"随机  试验数={16*3:<4} 最优depth={rs.best_params_['max_depth']} 耗时={time.perf_counter()-t0:.1f}s")
# 运行输出（子采样 4000 行以提速，数值随环境浮动）:
# 网格  试验数=48   最优depth=6 耗时=41.3s
# 随机  试验数=48   最优depth=8 耗时=39.7s
​

同样 48 次评估，随机搜索敢押 depth=8 这个网格外的更优解，因为它的 subsample、colsample 连续取值，落在好区域的机会更多。数据再大、单次训练再贵，就该换 Optuna 这类贝叶斯工具，一百次评估内常常逼近最优。

二、三步走：敏感度决定顺序

参数不是同等重要的。社区大量复盘形成的共识排序：eta 与 n_estimators 一组 > max_depth 与 min_child_weight 一组 > subsample 与 colsample 一组 > gamma 与 reg_lambda/reg_alpha 一组。所以流程这样排：

分层调参流程图

三步调参流程与每步的检查信号

# 三步走的代码骨架（示意，评估集单独切出）
import xgboost as xgb
from sklearn.model_selection import train_test_split

Xtr2, Xval, ytr2, yval = train_test_split(Xtr, ytr, test_size=0.15, random_state=0)

def fit_with(depth, mcw, subs=1.0, col=1.0, eta=0.1):
    m = xgb.XGBRegressor(n_estimators=800, max_depth=depth, min_child_weight=mcw,
                         subsample=subs, colsample_bytree=col, learning_rate=eta,
                         early_stopping_rounds=30, eval_metric='rmse')
    m.fit(Xtr2, ytr2, eval_set=[(Xval, yval)], verbose=False)
    return m.best_iteration, m.best_score

for depth in (4, 6, 8):
    it, sc = fit_with(depth, 1)
    print(f"depth={depth}  最优轮数={it:<4} 验证RMSE={sc:.4f}")
# 运行输出:
# depth=4  最优轮数=361  验证RMSE=0.4872
# depth=6  最优轮数=297  验证RMSE=0.4610
# depth=8  最优轮数=243  验证RMSE=0.4689
​

depth 从 4 到 6 明显改善，6 到 8 开始回头——容量拐点出现，第二步锁定 6 附近再细调。注意每一步都开着早停：n_estimators 由验证曲线自动决定，省掉一个维度。

⚠️ 常见坑：在调参上追最后一两个小数点。从"没调"到"三步走调完"通常能拿走九成收益；剩下的精度差往往在数据清洗与特征工程（第 5 章）里，不在参数表里。调参收益有上限，把算力预算花对地方。

💡 关键直觉：把调参理解成"控制器的整定"而不是"抽奖"。每一组参数对应一个明确的模型行为假设——过拟合就收闸门，欠拟合就开容量，方向错了换组重来，而不是盲目扩大搜索范围。

本节要点回顾

• 网格低维、随机高维、贝叶斯昂贵；同预算下随机搜索能押中网格外的优解
• 敏感度共识排序：步长步数 > 树形 > 采样 > 正则
• 早停把 n_estimators 从参数变成自动量，每次试验都应开启
• 三步走流程图可直接照搬：容量 → 随机 → 正则 → 终段小步长精修
• 调参收益有上限，数据与特征的天花板更高

参数篇至此闭环。第 4 章进入实战：一套真实数据从安装环境一路走到模型部署，本章所有参数将在完整流程中各就各位。