梯度下降法面试题

文档摘要

梯度下降法面试题机器学习中为什么需要梯度下降梯度下降的作用：梯度下降是迭代法的一种，可以用于求解最小二乘问题。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。如果我们需要求解损失函数的最大值，可通过梯度上升法来迭代。梯度下降法和梯度上升法可相互转换。梯度下降法缺点缺点：靠近极小值时收敛速度减慢。直线搜索时可能会产生一些问题。可能会“之字形”地下降。注意：梯度是一个向量，即有方向有大小。梯度的方向是最大方向导数的方向。梯度的值是最大方向导数的值。