14.1 损失函数与经验风险最小化

文档摘要

14.1 损失函数与经验风险最小化 14.1 损失函数与经验风险最小化在机器学习的宏大图景中，模型的学习过程本质上是一场对“误差”的不懈追寻与驯服。我们试图构建一个映射 $f: \mathcal{X} \to \mathcal{Y}$，使其在未知数据上的表现尽可能接近真实规律。然而，现实世界的数据充满噪声、偏差与不确定性，我们无法直接访问真实的数据生成机制——即所谓的“真实风险”（true risk）。于是，我们退而求其次，转而依赖有限的观测样本，通过优化一个可计算的目标来逼近理想状态。这一目标，便是损失函数；这一策略，便是经验风险最小化（Empirical Risk Minimization, ERM）。 ERM不仅是统计学习理论的基石，更是现代深度学习实践的底层逻辑。