第三章 模型选择与初始化

第三章 模型选择与初始化

章节摘要：本章跟着一条线走——数据和验证协议都齐了，模型从哪个路口上路、起步姿势如何，直接决定后续调参能走多远。我们处理两个常被当背景板的问题：用什么模型族（关系到后面调哪些旋钮），以及权重从什么值起步（关系到欠拟合是否从第一秒就注定了）。

一条主线

主线是"从哪个起点做实验"。同一份数据，线性模型学不出的非线性，换个树模型或神经网络可能一开始就有位形的优势；而同一个网络架构，权重初始化的取向能决定它是在收敛的正路上还是有去无回。我们会把这层"模型族 → 具体模型 → 初始化"的递进讲清楚，让你在动手调参前，先站上一个不亏的起跑线。

这条主线提醒你一个常被低估的事实：调参清单的长短，很大程度上在"选模型"那一步就已经定死了。你选了一棵深度决策树，那么你要面对的旋钮就是最大深度、最少样本、剪枝策略；你选了神经网络，旋钮就成了层数、宽度、学习率、正则强度、优化器。也就是说，"模型族"这个决定，把你的超参数搜索空间一下子框定了。本章第一节先把这个地图铺开，第二节帮你在资源约束下做判定，第三节再处理起步姿势（初始化）。三站合起来，就是"选对型 + 选对起点"。

沿途站点

• 01 常见模型类型图谱：先铺开模型族的全景——线性、树、SVM、神经网络、集成，各族的适用范围与要调的主要旋钮。
• 02 模型选择的原则与考量：在数据规模、可解释性、算力、时序性之间权衡，把"选型"从玄学变成一套可判定的决策。
• 03 参数与权重如何初始化：落回起步细节——为什么有全零/全同陷阱，各种初始化（随机、Xavier、He）各解决什么问题，以及重新随机种子带来的波动。

拐点与结论

本章的认知转折："模型不好"常常不是调参与没过，而是起点选错或初始化埋了雷。全零初始化在对称网络里会让对称永远打不破，而一个不匹配的初始化分布可能让梯度在头几层就消失。结论是先把模型族与初始化维度澄清，再把精力留给后面那些真正值得搜的超参数——别把宝贵的实验次数浪费在"本该一开始就想清楚"的问题上。

读完你应该

1. 能对照数据特征挑出合适的模型族，并预期各族的强项与软肋。
2. 能用可解释性、数据量、算力的三角权衡做选型决策。
3. 说清随机初始化打破对称的原理，以及 Xavier/He 各自的目标。
4. 能解释"换个随机种子成绩就变"的来源，并懂得用多次运行看稳定结论。

两条贯穿全章的经验判断：第一，选型是个"约束下的取舍"，没有永远最好的模型——小数据里树和线性常常比深度网络更划算，大数据才轮到深模型的容量发光，别被"深度一定更强"的口号带偏。第二，初始化问题只出现在你要训练可学参数的模型时（神经网络尤其敏感），而树族模型没有这个问题——所以一个"换成树就不会炸"的现象，本身就是在提醒你该往"初始化或网络结构"里找原因。把这两条挂在心里，回看全章会顺畅得多。

还有一个很容易被忽略的现实：模型选择与初始化这两件事，往往是最先消耗你耐心的两件。很多人一上来就想"选最强的模型、让训练一步到位"，结果在起步上反复纠结、迟迟不动手。正确的节奏恰恰相反——先用最简单、最不容易出错的模型族把基线立起来（哪怕只是逻辑回归），确认"数据、切分、评估"这套管线本身是通顺的，再去换更强的模型族、再去调初始化。起步阶段求的从来不是"一次到位"，而是"不亏的起跑线 + 管线是通的"。抱着这个心态读本章，你会更愿意先跑通最朴素的版本，再一步步往上换。

下一章的接力

起点确定后，主线进入真正"发生训练"的核心——第四章讲损失函数、优化器、梯度下降与训练监控，让你理解实验台上每次前向/反向到底在发生什么。