4.2 梯度下降基本原理

文档摘要

4.2 梯度下降基本原理 4.2 梯度下降基本原理梯度下降（Gradient Descent）是机器学习和深度学习中最核心、最基础的优化算法之一。它用于寻找函数（通常是损失函数）的最小值。在神经网络中，我们的目标是调整网络的权重和偏置，使得损失函数的值尽可能小，从而提高模型的预测准确性。梯度下降算法通过迭代的方式，沿着损失函数梯度（导数的反方向）下降，逐步逼近损失函数的最小值。 4.2.1 核心思想想象你身处一座山顶，目标是到达山谷的最低点。由于你无法看到整个山谷的全貌，你只能通过观察脚下的地形来决定下一步的行走方向。梯度下降算法就类似于这个过程：确定当前位置：对应于神经网络中权重和偏置的当前值。