第2章 经典算法:每道题都有两层追问


第 2 章 · 经典算法:每道题都有两层追问

本章要回答的三个问题:逻辑回归为什么用交叉熵而不用均方误差?从一棵决策树到 XGBoost,中间每一步到底在改进什么?SVM 的核技巧凭什么能画出任意的决策边界?

为什么会有这一章

经典算法是面试题库里存活最久的物种。深度学习火热之后,反而有更多公司用经典算法题做筛子:这些题有明确的推导路径和公认的深度层级,追问能一路走到数学底层;而工程岗的现实工作里,表格数据的主战场也仍然被梯度提升树统治着。一个候选人能不能从「逻辑回归是个线性分类器」讲到「它的损失是极大似然下的负对数似然,凸且处处可导」,直接对应着他能不能在实际业务里判断什么时候该用谁。

本章的组织方式是横向对比加纵向深挖:五个算法各占一节,每节内部按追问链推进到第二层深度;节与节之间保留着明确的引用关系——正则化呼应第 1 章的偏差方差,集成学习的对比延续 Bagging 与 Boosting 的分野,KNN 与朴素贝叶斯则作为「简单模型的代价」这组对照来收尾。

读完能解决什么

本章末尾,你应当具备这些可检验的能力:

  • 能推导线性回归的最小二乘解,说清逻辑回归损失函数选择的统计与优化层面的双重理由;
  • 能解释 L1 产生稀疏解的两条独立解释(等高线几何与次梯度),并画出正则化路径的走势;
  • 能按「分裂准则、方差控制、偏差修正、二阶信息、工程优化」的顺序讲完从 CART 到 XGBoost 的演进;
  • 能陈述 SVM 最大间隔的几何含义、对偶问题的动机、核函数的合法性条件与常用核的取舍;
  • 能指出 KNN 的计算瓶颈与 K 值敏感性、朴素贝叶斯的条件独立假设何时离谱何时够用。

图:经典算法家族的追问地图

各节怎么分工

节 主问题 两层追问的落点
2.1 线性模型 损失函数怎么选,正则化怎么起作用 交叉熵对 MSE 的三重优势;L1 稀疏性的几何与梯度解释
2.2 树与集成 一棵树怎么长,集成怎么有效 分裂准则对比;GBDT 到 XGBoost 的五点差异
2.3 SVM 间隔是什么,核为什么合法 对偶与支持向量的稀疏性;核选择的工程判断
2.4 KNN K 怎么选,慢在哪 距离度量与维度灾难;加速检索的近似思路
2.5 朴素贝叶斯 独立假设离谱为什么还能用 概率连乘的下溢与平滑;判别式与生成式的分野

先决条件

第 1 章的偏差方差框架是本章的通用语言:读 2.1 前请确认你能口述「正则化是偏差换方差」,读 2.2 前请确认你能区分降方差与降偏差两条集成路线。数学上只需多元微分与拉格朗日乘子法的直觉,2.3 节的对偶推导给出了完整的符号路径,不要求泛函分析背景。

往下走到哪

线性与树模型解决「表格数据怎么建模」,第 3 章转向没有标签时「结构怎么发现」;第 4 章则把这些经典思想在神经网络里的投影(残差连接之于 Boosting、归一化之于正则化)逐一对照。经典算法的追问链是深度学习追问链的母语,先把母语说顺,第 4 章的很多「为什么」会自动变得好答。

通关自测

  • 能否推导最小二乘的正规方程,并从高斯噪声假设出发把极大似然与均方误差连起来?
  • 逻辑回归不能用均方误差的三个理由,能否不看资料完整复述?
  • 从 CART 的分裂准则讲到 XGBoost 的二阶展开,这条演进链的每一级「改进了什么」能否各用一句话说清?
  • SVM 求对偶的三个动机、核函数合法性的可操作判据,是否都在舌尖上?
  • KNN 的维度灾难与朴素贝叶斯的条件独立假设,能否各配一个「什么时候会翻车」的反例?

本章五个算法的追问链彼此引用:线性模型的正则化对应树模型的剪枝,SVM 的间隔对应支持向量的稀疏性,KNN 的距离对应贝叶斯的概率。自测不过关的条目,回到对应小节把推导重走一遍——经典算法的深度就是面试的深度。

复习的横向对照法

本章五个算法两两之间都有可对比的轴:参数化程度(逻辑回归有参数假设,KNN 无)、训练成本(贝叶斯一次计数,SVM 二次规划)、预测成本(线性一次内积,KNN 全库检索)、可解释性(线性与树天然可读,核方法黑盒)。把这些轴画成对比表自己填一遍,比纵向背五条追问链更能应对「横向比较」类考题——面试官最爱在章末抛出「这五个里选一个上线,选谁」这种综合题。

作者与出处
原作者:灏天文库
来源:平台策划编纂
整理人: 灏天文库整理
由灏天文库平台收录,内容或由平台用户上传,仅供学习交流
发布者: 作者: 灏天文库 转发
评论区 (0)
U