文档摘要

基于梯度的机器学习 基于梯度的学习通过在损失曲面上顺着坡度一步步走，来优化模型参数。本文件涵盖线性回归、逻辑回归、softmax 分类、梯度下降的变体、正则化（L1/L2）以及偏差-方差权衡。 第 1 节里的经典方法用的是巧妙的启发式或解析解。本节讲的是靠"跟着梯度走"来学习的算法——在损失曲面上小步下山，直到找到好的参数。基于梯度的学习是从线性回归一直到最大神经网络背后共同的引擎。 线性回归（linear regression）是最简单的基于梯度的模型，而且它还有解析解，是绝佳的起点。

---