批量规范化

文档摘要

批量规范化 :label: 训练深层神经网络是十分困难的，特别是在较短的时间内使他们收敛更加棘手。本节将介绍批量规范化（batch normalization） :cite: ，这是一种流行且有效的技术，可持续加速深层网络的收敛速度。再结合在 :numref: 中将介绍的残差块，批量规范化使得研究人员能够训练100层以上的网络。训练深层网络为什么需要批量规范化层呢？让我们来回顾一下训练神经网络时出现的一些实际挑战。首先，数据预处理的方式通常会对最终结果产生巨大影响。回想一下我们应用多层感知机来预测房价的例子（ :numref: ）。使用真实数据时，我们的第一步是标准化输入特征，使其平均值为0，方差为1。