3.5 ResNet：深度残差网络

文档摘要

3.5 ResNet：深度残差网络 3.5 ResNet：深度残差网络 3.5.1 引言：深度网络的挑战在卷积神经网络的发展历程中，一个自然的趋势是构建越来越深的网络，以期捕获图像中更复杂、更高层次的特征。然而，简单地堆叠更多的卷积层和池化层并不能保证性能的提升。当网络深度增加到一定程度时，会出现两个主要问题：梯度消失/爆炸（Vanishing/Exploding Gradients）：在反向传播过程中，梯度需要在网络的各层之间传递。对于非常深的网络，经过多层链式法则的乘积，梯度值可能变得非常小（趋近于零，即梯度消失），导致浅层网络的参数难以更新；或者变得非常大（趋近于无穷，即梯度爆炸），导致训练不稳定。