第5章 特征工程:数据进模型前的追问


第 5 章 · 特征工程:数据进模型前的追问

本章要回答的三个问题:缺失值与异常值处理为什么不能一刀切?标准化、归一化、各类编码分别什么时候用、什么时候会出事?特征选择的三条路线各自怎么工作,怎么向面试官证明你的特征有效?

为什么会有这一章

面试里有一个屡试不爽的区分器:让候选人描述自己最得意的项目,讲的全是模型与调参的,多半在打杂或读论文;讲得出「这个特征是怎么被造出来、怎么验证有效」的,才是真的跑过生产管线。特征工程是机器学习工作流里占用时间最长、可复用知识最少、又最能拉开业务效果差距的环节——正因为它是手艺活,追问链特别能暴露真实经验。

本章按数据流入模型的物理顺序组织四章四节:清洗(缺失与异常)、变换(缩放与编码)、选择(三条路线)、构建(交叉与衍生)。每一节都自带同一类追问句式:「为什么这么做」「不这么做会怎样」「换个场景还成立吗」——这正是面试官在特征题上的三板斧。

读完能解决什么

  • 能按「缺失机制(MCAR、MAR、MNAR)」选择填充策略,并说明为什么树模型对缺失更宽容;
  • 能区分标准化与归一化的适用边界,知道树模型为什么可以不做缩放;
  • 能对数值、类别、高基数、文本各类特征给出对应的编码方案与泄漏防线;
  • 能讲清过滤、包裹、嵌入三路特征选择的原理、成本与代表方法,并设计一个特征有效性的验证实验。

图:特征工程的流水线与泄漏防线

各节怎么分工

节 主问题 追问落点
5.1 清洗 缺失与异常怎么定策略 三种缺失机制的判别;盖帽法与分箱的鲁棒性
5.2 变换 缩放与编码怎么选 树模型不缩放的原因;目标编码的泄漏防线
5.3 选择 三条路线怎么取舍 相关性陷阱;L1 与树重要性的对照
5.4 构建 特征从哪来 交叉、聚合、时间窗;特征有效性的验证实验

先决条件

需要第 1 章的评估意识(特征好坏最终由验证指标裁决)与第 3 章的方差直觉(高基数与共线性的后果)。做过一次完整的表格数据竞赛或业务建模经历会让本章所有细节落地,但不强求。

往下走到哪

特征工程管「数据到模型」,第 6 章管「模型到结论」:交叉验证保证特征验证本身没作弊,调优与解释性把特征的价值讲给面试官听。本章的统一纪律「统计量只在训练集内估计」会在第 6.1 节升级成完整的防泄漏方法论——两章连读,效果最佳。

通关自测

  • 三种缺失机制的判别思路与各自的安全策略,能否配对说出?
  • 树模型免缩放、距离模型必缩放的数学原因,能否各用一句话钉死?
  • 高基数类别的目标编码方案,能否说出平滑与 K 折两个防泄漏细节?
  • 特征选择三式的信号差异(统计量、模型效果、训练过程)能否对号入座?
  • 时间窗特征的「只看过去」纪律,包含哪三个具体动作?

特征工程章的自测及格线是「每句话带防线」:填充要配指示列,编码要配平滑,选择要配对照实验。清洗与变换的每个动作都有对应的泄漏风险,说出动作不说出防线,在面试里只算半答。

泄漏防线的统一口诀

本章四章的动作(填充、缩放、编码、选择、构建)共享同一条泄漏原理:任何从数据里算出来的统计量(均值、方差、类别均值、主轴、重要性排名)都必须只在训练折内估计。把这条原理背成条件反射后,你不需要记每个具体坑——遇到任何「先算后切」的动作都会自动报警。面试里被问「特征工程有哪些泄漏风险」时,报出这条统一原理再举填充、目标编码、PCA 三个例子,比罗列十个零散坑位高一个层级。

补充一个章内导航的实用记忆法:把四章动作记成「进模型前的四道关」——洗(清洗掉错误与缺口)、变(变换成模型可读的形态)、选(只留有证据的特征)、造(把领域知识翻译成新变量)。每道关的追问都有固定句式:洗关问「为什么缺」、变关问「对什么模型」、选关问「怎么证明」、造关问「业务含义」。四关四问背熟,特征工程面试的框架分就锁定了。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U