本章要回答的三个问题:交叉验证有多少种变体,各自防的是哪种自欺?网格、随机、贝叶斯搜索怎么选,调参的投入产出比怎么算?模型为什么这么预测,特征重要性与 SHAP 各自怎么讲?
前五章的所有努力,最终都要浓缩成几个数字向面试官汇报。这一章处理那几个数字本身的可靠性:交叉验证决定「这个分数能不能信」,超参搜索决定「这个分数还能再挤多少」,模型解释决定「面试官相不相信你真懂你的模型」。工程岗的资深面试里,这一章的追问比重常常超过算法原理——因为线上事故多数不在算法,而在评估口径与数据口径的错位。
本章的主线可以概括成一个词:诚实。交叉验证防「分数自欺」,调优防「预算自欺」,解释性防「理解自欺」。三节各配一组追问链,直接取材于真实面试与真实事故复盘。
| 节 | 主问题 | 追问落点 |
|---|---|---|
| 6.1 交叉验证 | 分数怎么算才不作弊 | 四种变体的适用矩阵;管线内嵌防泄漏 |
| 6.2 超参搜索 | 预算怎么花在刀刃上 | 三种搜索的数学差异;早停与调度器 |
| 6.3 解释性 | 模型的判断依据怎么讲 | 重要性指标的偏差;SHAP 的加法归因 |
需要第 1 章的指标语言与第 5 章的泄漏警觉——本章把它们升级为方法论。读过 sklearn 或任一框架的模型选择模块会帮助理解,但所有概念在白板上即可讲清。
本章结束,单模型的「训练到解释」全链路闭合。第 7 章把镜头拉远到系统层面:选型、线上排查、项目复盘——那里的问题不再有标准答案,但本章的纪律(可信分数、诚实预算、可解释判断)仍是回答一切开放题的骨架。
本章自测的及格线是「口径意识」:报任何数字都自动带上数据集、指标、切分方式。这套习惯是面试后半场(工程与项目题)的通用货币。
本章管「训练期的诚实」,第 7 章管「上线后的诚实」:6.1 的验证纪律对应 7.2 的线上排查(离线作弊与在线事故常常同源),6.2 的预算意识对应 7.1 的开工节奏,6.3 的解释框架对应 7.3 的项目叙事。把两章连读一遍你会发现,工程面试的全部考题几乎都在这条「诚实链」上——分数诚实、预算诚实、解释诚实。
补一条自测之外的实操提醒:本章三个话题(验证、搜索、解释)在面试里常被合并成一道德性题——「你的模型比同事的分数高零点零零三,你怎么证明这不是运气」。标准答法正是三件套:同一验证口径下的多种子重复(排除切分运气)、配对比较或置信区间(量化差距的显著性)、成本与解释性的补充维度(差距不在噪声内且部署成本更低才算赢)。把三件套练成本能,评估章就真正读完了。
另补一个章内自检的实用动作:把本章任何一节的结论抽出来问「它的反例是什么」——分层 K 折的反例是类别极少到每折分不到一个正例(此时换留出或重复验证);随机搜索的反例是参数空间本身设错(在错误空间里随机只会高效地浪费);SHAP 的反例是相关特征下的归因分摊(结论要按特征组读)。能给自己每条结论配上边界反例的人,面试里几乎不会被打到第三层以下。