2.5 优化器 (Optimizers)

文档摘要

2.5 优化器 (Optimizers) 2.5 优化器 (Optimizers) 2.5.1 优化器概述深度学习模型的训练本质上是一个优化问题。我们的目标是找到一组模型参数，使得模型在给定任务上的表现最佳。这个“最佳表现”通常通过损失函数来衡量，损失函数值越小，代表模型预测结果与真实值之间的差距越小，模型性能越好。优化器正是用于更新模型参数以最小化损失函数的算法。它基于梯度下降的思想，通过计算损失函数关于模型参数的梯度，并根据梯度信息调整参数，逐步逼近损失函数的最小值点。梯度下降与优化器梯度下降是优化器最核心的理论基础。简单来说，梯度指向损失函数增长最快的方向，而负梯度则指向损失函数下降最快的方向。