4.3.3 直接训练：基于替代梯度 (Surrogate Gradient) 的反向传播

文档摘要

4.3.3 直接训练：基于替代梯度 (Surrogate Gradient) 的反向传播 4.3.3 直接训练：基于替代梯度 (Surrogate Gradient) 的反向传播想象一下，你正驾驶一辆精密的神经网络“赛车”，在脉冲神经网络（SNN）的赛道上疾驰。传统CNN或RNN的梯度如顺滑的沥青公路，让反向传播（BP）轻松流动。但SNN的赛道上，到处是Heaviside阶跃函数形成的“悬崖峭壁”——脉冲发放瞬间，梯度戛然而止为零。这就是直接训练SNN的最大痛点：脉冲函数的不可导性。如何让梯度“绕过悬崖”，继续回流到上游参数？答案就是替代梯度（Surrogate Gradient）方法。它不是蛮力破解，而是巧妙用一个平滑、可导的“代理函数”近似原函数的导数，让BP在SNN中重获新生。