OBS公式推导

文档摘要

OBS公式推导 &emsp;&emsp;Optimal Brain Surgeon (OBS)是1993年Babak Hassibi等人提出来的，该方法利用误差函数的所有二阶导数信息来执行网络修剪。OBS方法显著优于基于权重大小的方法和“Optimal Brain Damage (OBD)”方法，后者经常移除错误的权重。OBS允许在保持训练集误差相同的情况下修剪更多的权重，从而在测试数据上获得更好的泛化性能。 &emsp;&emsp;若已阅读过OBD公式推导，则可直接略过前9个公式。 &emsp;&emsp;已知等式： $$ Y=XW \tag{1} $$ &emsp;&emsp;其中，$X$为输入，$Y$为输出，$W$为权重。