1. 神经网络优化概述

文档摘要

神经网络优化概述神经网络优化概述神经网络的优化是训练过程的核心，旨在找到一组模型参数，使得模型在给定任务上的表现达到最佳。这个过程涉及多个相互关联的要素，需要仔细选择和调整。本章将概述神经网络优化的目标和挑战，并介绍构成优化过程核心的三个关键要素：激活函数、损失函数和优化器。 1.1 优化目标与挑战神经网络的优化目标是最小化损失函数，损失函数衡量了模型预测结果与真实标签之间的差异。理想情况下，我们希望找到全局最小值，即损失函数在整个参数空间中的最低点。然而，在实际应用中，神经网络的损失函数通常是非凸的，这意味着存在许多局部最小值。 1.1.1 优化目标最小化损失函数：找到使损失函数最小化的模型参数。损失函数是对模型预测结果的误差进行量化的指标。