4.3 梯度下降及其变种

文档摘要

4.3 梯度下降及其变种 4.3 梯度下降及其变种在模型训练过程中，我们致力于找到一组最优的模型参数，使得模型在给定任务上的性能达到最佳。这通常涉及到最小化一个损失函数（或成本函数），该损失函数量化了模型预测与真实值之间的差异。梯度下降及其变种是实现这一目标的核心优化算法，它们通过迭代地调整模型参数来逐步逼近损失函数的最小值。 4.3.1 梯度下降（Gradient Descent）梯度下降是一种一阶迭代优化算法，用于寻找函数的局部最小值。其基本思想是：沿着函数当前点梯度的反方向移动，因为梯度的方向是函数增长最快的方向，反方向则是函数下降最快的方向。核心思想：假设我们有一个损失函数 $J(\theta)$，其中 $\theta$ 代表模型的所有参数。