第3章 参数与调优

第3章 参数与调优

本章跟着一条线走：把第 2 章公式里的每个符号，兑换成参数表里一行可配置的代码。 三类参数（通用、Booster、学习任务）依次展开，最后收束成一套有明确优先级的调优方法论——参数不是玄学清单，而是公式的旋钮。

一条主线

第 2 章结尾我们有了完整的目标函数与增益公式，但 γ、λ、树深、采样率都还是抽象符号。本章的任务是完成"数学 → 配置"的翻译：第 1 节处理与树本身相关的两大类参数——控制并行的 booster 选择、控制复杂度的 γ 与 λ、控制容量的 max_depth 与 min_child_weight，每一个都能在第 2 章找到公式出处；第 2 节处理学习任务参数——objective 决定 g 和 h 怎么算，eval_metric 决定模型好坏由谁说了算，随机种子决定实验可否复现；第 3 节把前两节的参数放进真实的搜索流程，讲网格、随机、贝叶斯三种搜索的性价比，以及"先定学习率与树数、再调树形、最后动正则"的经典顺序为什么成立。

三类参数与公式的对应关系

沿途站点

第 1 节是全章重头，参数数量最多，也最容易调错——重点是给每个参数找到"公式身份"，比如 gamma 对应增益公式里减去的 γ，reg_lambda 对应权重闭式解分母里的 λ，min_child_weight 对应叶子 H 和的下限。第 2 节相对轻，但 objective 与 eval_metric 的错配是新手翻车高发区：用 logloss 训练却用错误率选模型，方向就偏了。第 3 节是方法论：调参不是全空间撒网，而是按敏感度分层推进，配合早停把树数从"要调的参数"变成"自动决定的量"。

先决条件

本章是第 2 章的"参数化清单"，跳读的前提是认得 γ、λ、H 和这几个符号在公式里的位置；忘了就先回第 2.3、2.4 节扫一眼，比硬背参数表快得多。代码部分需要能独立完成一次 train_test_split 加 fit 加 predict 的完整调用——第 4 章才会系统讲流水线，这里会用最简版本即可。

拐点与结论

本章的认知转折在第 3 节：调参的性价比排序是有共识的。学习率与树数、max_depth 与 min_child_weight、采样与正则，三组参数对结果的影响依次递减；把算力花在前两组，通常比均匀网格搜索省一个数量级的时间。另一个转折是承认"调参收益有上限"——数据质量与特征工程（第 5 章）的天花板远高于参数微调。

读完你应该

• 为 gamma、reg_lambda、min_child_weight、max_depth 各说出一处第 2 章的公式出处
• 按任务类型正确选择 objective 与 eval_metric，避免训练目标与选型标准错配
• 说明 eta 与 n_estimators 的互补关系，以及早停如何让树数自动确定
• 比较网格、随机、贝叶斯三种搜索的适用场景与成本
• 复述"三步走"调优顺序及其背后的敏感度逻辑

下一章的接力

参数齐备之后，主线从"知识"切换到"动作"：第 4 章用一套完整数据走通从安装、预处理、训练、评估到部署的全流程，本章的每个参数都将在真实代码里各就各位。