4.3.3.1 脉冲函数的不可导问题及其数学近似

文档摘要

4.3.3.1 脉冲函数的不可导问题及其数学近似 4.3.3.1 脉冲函数的不可导问题及其数学近似想象一下，你正调试一个尖峰神经网络（SNN）模型，数据集是标准的MNIST，手写数字识别任务本该水到渠成。可训练了上百个epoch，loss曲线像被钉死在原地，梯度信号仿佛蒸发在虚空。Vanilla的反向传播在这里失效了，为什么？根源直指脉冲函数——那个在SNN中定义神经元发放的Dirac δ函数。它尖锐如针，导数处处为零，除了原点外零梯度爆炸。这不是理论课本的抽象烦恼，而是实战中反复撕扯神经的痛点。作为一个泡在SNN项目里的工程师，我亲历过无数次这样的“梯度黑洞”，直到掌握了替代梯度（surrogate gradient）的数学近似，才化险为夷。