第1章 · AI 与机器学习基础
第 1 章 · AI 与机器学习基础
章节摘要：无论你面 CV 还是 NLP，面试官都会先从机器学习和深度学习的基础问起——这是判断你是"调包侠"还是"懂原理的工程师"的分水岭。本章把数学统计、经典 ML 算法、深度学习骨架三块串成一条线：从线性代数和概率论的工具出发，讲清偏差方差、过拟合、正则化这些贯穿始终的概念，再落到反向传播、CNN、RNN、Transformer 这些深度学习的积木。读完你会对"模型为什么能学"有一个完整的因果链。
学习目标
阅读完本章，你应当能够：
- 说清监督、无监督、强化学习的本质区别，并各举三个代表算法
- 推导偏差-方差分解，解释它和过拟合/欠拟合的对应关系
- 讲清 L1、L2 正则化的几何直觉和稀疏性差异
- 在白板上推演反向传播的链式法则，解释梯度消失/爆炸的成因与对策
- 对比 SVM、决策树、GBDT 的优化目标和应用场景
- 说清 CNN 的卷积/池化、RNN 的时序依赖、Transformer 的自注意力各自解决了什么问题
核心概念速览
AI 面试的底层逻辑就一句话：你能不能把"模型从数据中学到规律"这件事，用数学语言讲到底。基础扎实的人，讲任何新模型都能快速归位到这套骨架上。
子章节导航
1.1 数学与统计基础
线性代数、概率论、信息论这些工具是理解算法原理的前提。这节不堆公式，而是讲这些工具在 ML 里"用在哪、为什么用"——比如协方差矩阵为什么是 PCA 的核心，交叉熵为什么是分类的标配损失。
1.2 机器学习核心概念与经典算法
从监督学习的偏差方差出发，讲清过拟合/正则化，再落到 SVM、决策树、集成学习这几大经典算法。这些算法本身在大模型时代用得少了，但它们背后的优化思想（间隔最大化、信息增益、梯度提升）是理解现代深度学习的钥匙。
1.3 深度学习基础
反向传播、激活函数、归一化、优化器——深度学习的四大积木。这节把它们串成"前向算损失、反向传梯度、优化器更新参数"的完整闭环，并讲清 CNN、RNN、Transformer 各自针对什么问题设计。
子章节之间的逻辑关系
先补齐数学语言（1.1），再用它讲清经典 ML 的优化思想（1.2），最后把这套思想升级到深度学习的可微分架构（1.3）。三者层层递进——1.1 是工具，1.2 是思想，1.3 是工程化。
1.1 数学工具 ──► 1.2 经典ML思想 ──► 1.3 深度学习骨架 （线性代数/概率） （偏差方差/优化） （反向传播/CNN/RNN） │ │ │ └─────────为后续 CV/NLP 章节铺垫─────────┘
前置知识与后续延伸
- 前置知识：会读 Python，对矩阵运算有基本概念，了解求导。不需要读过论文。
- 后续延伸：本章的深度学习骨架是第 2 章（CV 用 CNN）和第 3 章（NLP 用 RNN/Transformer）的地基。把 1.3 吃透，后面两章就是"同一个骨架在不同数据类型上的特化"。
本章考点热力图
这一章的九个小节在真实面试里的出现频率并不均等，把有限的时间投在高频区是理性的备考策略。根据近年算法岗面试的普遍反馈：机器学习核心概念（偏差方差、正则化、评估指标）几乎每场必问；经典算法（决策树、SVM、集成）出现率约七成，其中 XGBoost 的二阶泰勒展开和正则项是高频深挖点；数学基础单独成题的比例在下降，但它作为追问链的底层无处不在——你答偏差方差时用的每句话都是统计，答 PCA 时用的每句话都是线性代数；深度学习基础的考察率则随着岗位热度持续上升，反向传播的链式法则手推、BN 的训练推理差异、优化器对比是三大钉子户。
由此得出本章的时间分配建议：概念与评估占三成，经典算法占三成，深度学习占三成，纯数学占一成——数学靠平时积累渗透，不值得考前突击。每节的"要点回顾"可以撕下来当面试前一夜的速记卡使用，但前提是你已经走过一遍正文里的追问链，否则速记卡上的结论在追问面前不堪一击。
学习本章的三个常见误区
其一，把面试准备当成知识学习。两者的差别在于：学习追求"懂"，面试追求"说出来"。同一个知识点，默念"我懂了"和对着空气讲三分钟是两种掌握度。建议每读完一节，合上材料给自己讲一遍，卡壳处就是漏洞。其二，追求覆盖所有算法。算法清单是无限的，但追问链的模式是有限的——"是什么、为什么有效、什么时候失效、和替代方案比如何"。用模式去覆盖算法，而不是逐个算法平铺。其三，忽视手推和手算。梯度下降更新式、卷积输出尺寸、注意力复杂度这些能白板推演的内容，恰恰是面试官用来快速分层候选人的工具，动手练过和没练过一开口就露馅。
一个提醒：本章所有小节都假设你至少写过一次 sklearn 或 PyTorch 的完整训练循环。纯理论准备出来的知识在追问两层之后就会塌，代码经验是最便宜的加固剂。