6.1 无约束优化：梯度下降

文档摘要

6.1 无约束优化：梯度下降第六章数值优化基础 6.1 无约束优化：梯度下降在现代计算数学的广袤天地中，数值优化如同一条贯穿始终的金线，将理论与应用紧密缝合。无论是机器学习模型的训练、物理系统的模拟，还是工程设计中的参数调优，我们几乎总能遇见这样一个核心问题：如何在一个连续空间中寻找某个函数的最小（或最大）值？当这个函数没有附加任何限制条件时，我们称之为无约束优化问题。本节聚焦于最经典、最直观、也最具生命力的方法之一——梯度下降法（Gradient Descent）。它不仅是理解现代优化算法的起点，更是深度学习浪潮背后的基石。我们将从几何直觉出发，逐步深入其数学本质，剖析收敛行为，并借助可视化手段揭示其“行走”路径背后的智慧。一、问题设定：我们在找什么？