本章要回答的三个问题:缺失值与异常值处理为什么不能一刀切?标准化、归一化、各类编码分别什么时候用、什么时候会出事?特征选择的三条路线各自怎么工作,怎么向面试官证明你的特征有效?
面试里有一个屡试不爽的区分器:让候选人描述自己最得意的项目,讲的全是模型与调参的,多半在打杂或读论文;讲得出「这个特征是怎么被造出来、怎么验证有效」的,才是真的跑过生产管线。特征工程是机器学习工作流里占用时间最长、可复用知识最少、又最能拉开业务效果差距的环节——正因为它是手艺活,追问链特别能暴露真实经验。
本章按数据流入模型的物理顺序组织四章四节:清洗(缺失与异常)、变换(缩放与编码)、选择(三条路线)、构建(交叉与衍生)。每一节都自带同一类追问句式:「为什么这么做」「不这么做会怎样」「换个场景还成立吗」——这正是面试官在特征题上的三板斧。
| 节 | 主问题 | 追问落点 |
|---|---|---|
| 5.1 清洗 | 缺失与异常怎么定策略 | 三种缺失机制的判别;盖帽法与分箱的鲁棒性 |
| 5.2 变换 | 缩放与编码怎么选 | 树模型不缩放的原因;目标编码的泄漏防线 |
| 5.3 选择 | 三条路线怎么取舍 | 相关性陷阱;L1 与树重要性的对照 |
| 5.4 构建 | 特征从哪来 | 交叉、聚合、时间窗;特征有效性的验证实验 |
需要第 1 章的评估意识(特征好坏最终由验证指标裁决)与第 3 章的方差直觉(高基数与共线性的后果)。做过一次完整的表格数据竞赛或业务建模经历会让本章所有细节落地,但不强求。
特征工程管「数据到模型」,第 6 章管「模型到结论」:交叉验证保证特征验证本身没作弊,调优与解释性把特征的价值讲给面试官听。本章的统一纪律「统计量只在训练集内估计」会在第 6.1 节升级成完整的防泄漏方法论——两章连读,效果最佳。
特征工程章的自测及格线是「每句话带防线」:填充要配指示列,编码要配平滑,选择要配对照实验。清洗与变换的每个动作都有对应的泄漏风险,说出动作不说出防线,在面试里只算半答。
本章四章的动作(填充、缩放、编码、选择、构建)共享同一条泄漏原理:任何从数据里算出来的统计量(均值、方差、类别均值、主轴、重要性排名)都必须只在训练折内估计。把这条原理背成条件反射后,你不需要记每个具体坑——遇到任何「先算后切」的动作都会自动报警。面试里被问「特征工程有哪些泄漏风险」时,报出这条统一原理再举填充、目标编码、PCA 三个例子,比罗列十个零散坑位高一个层级。
补充一个章内导航的实用记忆法:把四章动作记成「进模型前的四道关」——洗(清洗掉错误与缺口)、变(变换成模型可读的形态)、选(只留有证据的特征)、造(把领域知识翻译成新变量)。每道关的追问都有固定句式:洗关问「为什么缺」、变关问「对什么模型」、选关问「怎么证明」、造关问「业务含义」。四关四问背熟,特征工程面试的框架分就锁定了。