4.2 批归一化（Batch Normalization）

文档摘要

4.2 批归一化（Batch Normalization） 4.2 批归一化（Batch Normalization）在深度学习，特别是卷积神经网络（CNN）的训练过程中，一个核心挑战是网络的层数越深，训练就越困难。这部分原因在于梯度消失或爆炸，但另一个重要因素是内部协变量转移（Internal Covariate Shift, ICS）问题。批归一化（Batch Normalization, BN）正是为了解决这一问题而提出的强大技术，并已成为现代CNN架构中不可或缺的组成部分。 4.2.1 内部协变量转移（Internal Covariate Shift）要理解批归一化，首先需要理解内部协变量转移。在深度神经网络中，每一层的输入都依赖于前一层参数的输出。