本章要回答的三个问题:逻辑回归为什么用交叉熵而不用均方误差?从一棵决策树到 XGBoost,中间每一步到底在改进什么?SVM 的核技巧凭什么能画出任意的决策边界?
经典算法是面试题库里存活最久的物种。深度学习火热之后,反而有更多公司用经典算法题做筛子:这些题有明确的推导路径和公认的深度层级,追问能一路走到数学底层;而工程岗的现实工作里,表格数据的主战场也仍然被梯度提升树统治着。一个候选人能不能从「逻辑回归是个线性分类器」讲到「它的损失是极大似然下的负对数似然,凸且处处可导」,直接对应着他能不能在实际业务里判断什么时候该用谁。
本章的组织方式是横向对比加纵向深挖:五个算法各占一节,每节内部按追问链推进到第二层深度;节与节之间保留着明确的引用关系——正则化呼应第 1 章的偏差方差,集成学习的对比延续 Bagging 与 Boosting 的分野,KNN 与朴素贝叶斯则作为「简单模型的代价」这组对照来收尾。
本章末尾,你应当具备这些可检验的能力:
| 节 | 主问题 | 两层追问的落点 |
|---|---|---|
| 2.1 线性模型 | 损失函数怎么选,正则化怎么起作用 | 交叉熵对 MSE 的三重优势;L1 稀疏性的几何与梯度解释 |
| 2.2 树与集成 | 一棵树怎么长,集成怎么有效 | 分裂准则对比;GBDT 到 XGBoost 的五点差异 |
| 2.3 SVM | 间隔是什么,核为什么合法 | 对偶与支持向量的稀疏性;核选择的工程判断 |
| 2.4 KNN | K 怎么选,慢在哪 | 距离度量与维度灾难;加速检索的近似思路 |
| 2.5 朴素贝叶斯 | 独立假设离谱为什么还能用 | 概率连乘的下溢与平滑;判别式与生成式的分野 |
第 1 章的偏差方差框架是本章的通用语言:读 2.1 前请确认你能口述「正则化是偏差换方差」,读 2.2 前请确认你能区分降方差与降偏差两条集成路线。数学上只需多元微分与拉格朗日乘子法的直觉,2.3 节的对偶推导给出了完整的符号路径,不要求泛函分析背景。
线性与树模型解决「表格数据怎么建模」,第 3 章转向没有标签时「结构怎么发现」;第 4 章则把这些经典思想在神经网络里的投影(残差连接之于 Boosting、归一化之于正则化)逐一对照。经典算法的追问链是深度学习追问链的母语,先把母语说顺,第 4 章的很多「为什么」会自动变得好答。
本章五个算法的追问链彼此引用:线性模型的正则化对应树模型的剪枝,SVM 的间隔对应支持向量的稀疏性,KNN 的距离对应贝叶斯的概率。自测不过关的条目,回到对应小节把推导重走一遍——经典算法的深度就是面试的深度。
本章五个算法两两之间都有可对比的轴:参数化程度(逻辑回归有参数假设,KNN 无)、训练成本(贝叶斯一次计数,SVM 二次规划)、预测成本(线性一次内积,KNN 全库检索)、可解释性(线性与树天然可读,核方法黑盒)。把这些轴画成对比表自己填一遍,比纵向背五条追问链更能应对「横向比较」类考题——面试官最爱在章末抛出「这五个里选一个上线,选谁」这种综合题。