4.4 学习率 (Learning Rate) 策略：小学习率、层级学习率、学习率调度

文档摘要

4.4 学习率 (Learning Rate) 策略：小学习率、层级学习率、学习率调度 4.4 学习率 (Learning Rate) 策略：小学习率、层级学习率、学习率调度在迁移学习和Fine-tuning的实践中，学习率 (Learning Rate) 是一个至关重要的超参数，它直接影响着模型训练的收敛速度、最终性能以及是否能够避免过拟合。本章将深入探讨在Fine-tuning场景下，几种核心的学习率策略：小学习率、层级学习率以及学习率调度。 4.4.1 学习率的本质与挑战学习率决定了模型在每次迭代中参数更新的步长。一个过大的学习率可能导致模型在损失函数曲面上“跳过”最优解，甚至发散；