第4章 实战全流程

第4章 实战全流程

本章跟着一条线走：一套客户流失数据，从装环境到模型上线，五个站点走完一条完整的实战流水线。 每一节是流水线上的一个工位：预处理、训练、评估、解读、部署——上一工位的产出是下一工位的输入，任何一环出错都会沿着流水线向下游放大。

一条主线

实战与读公式是两种能力。本章的主线案例是电信客户流失预测：约两万条客户记录，十几个特征，有缺失、有类别变量、正例占比约四分之一——一个"麻雀虽小五脏俱全"的业务问题。第 1 节把数据从原始状态加工成 DMatrix 可吞的形态，顺带讲清两种接口（sklearn 风格与原生接口）的分工；第 2 节训练第一批模型，重点演示早停曲线怎么读、学习曲线能暴露什么；第 3 节做模型评估与选择，交叉验证、多指标对照、阈值选择一气呵成；第 4 节打开模型看内部，特征重要性之外引入更诚实的诊断视角；第 5 节把模型保存成文件并讨论上线形态。

实战流水线五个工位

沿途站点

第 1 节的关键抉择是接口选型：XGBClassifier 用着顺手，DMatrix 与原生 train 接口功能更全（自定义目标、多 eval_set、精细控制），实战里两者经常并用。第 2 节的看点是训练过程的可观测性——evals 结果里藏着过拟合的时间线。第 3 节把第 3.2 节的指标理论落到具体数字上，回答"这个模型能不能用"。第 4 节从"模型说什么"进到"该不该信模型说什么"，为第 5 章的 SHAP 埋线。第 5 节讲三种持久化格式与两种上线形态，把工程师视角收尾。

先决条件

进入本章前，确认三件事已就绪：第 3 章的参数速查表在手（本章代码会密集使用 eta、max_depth、subsample、early_stopping_rounds 这些名字）；本地能运行 xgboost 与 scikit-learn（装不上先回第 1 节头几段）；对 pandas 的 DataFrame 有基本操作能力（选列、填缺失、get_dummies）。本章代码刻意用小规模数据保证几分钟内跑完，读者应把每段代码当成可改写的起点——换成自己手头的数据，是最有效的练习方式。全章五节的产出是环环相扣的：第 1 节的编码列顺序会被第 4 节的特征审计引用，第 2 节训练好的模型会被第 3、4、5 节反复使用，建议按顺序跑完，形成一条属于自己的完整工件链。跑通之后再做一件事：把其中任何一环故意弄错（比如去掉分层切分、把编码顺序颠倒），观察下游各节的指标如何变形——破坏性实验建立的敏感度，比顺跑十遍更接近真实工程经验。

拐点与结论

本章的认知转折在第 3 节与第 4 节之间：评估分数是模型对过去的陈述，特征诊断才是对未来的承诺。一个 AUC 0.85 但重要性全部集中在某个疑似泄漏的特征上的模型，比 AUC 0.80 但结构合理的模型危险得多。实战老手与新手的差距，多半体现在对这些信号的敏感度上。

读完你应该

• 完成从原始数据到 DMatrix 的预处理，正确处理类别编码与缺失
• 说清 sklearn 接口与原生接口的适用场合，并用早停观察训练全过程
• 用交叉验证与多指标做出有依据的模型选择，含阈值决策
• 读懂特征重要性排序，并警惕由数据泄漏造成的虚假重要性
• 用 JSON / UBJSON / pickle 三种格式存取模型，说明各自适合的上线形态

下一章的接力

流水线走通只代表"干净数据上的及格线"。第 5 章处理让流水线翻车的现实问题：极端不平衡的标签、需要精心构造的特征、必须向业务解释的黑箱压力、单机装不下的数据规模。