神经网络的激活函数（六） GELU和Mish

文档摘要

神经网络的激活函数（六）GELU和Mish GELU 10 GELU（Gaussian Error Linear Unit，高斯误差线性单元）是一种在深度学习中广泛应用的激活函数。GELU通过高斯误差函数（即标准正态分布的累积分布函数）对输入进行平滑处理，从而提高模型的性能。GELU在许多任务中表现出色，特别是在自然语言处理（NLP）和计算机视觉任务中。 1.1 数学定义 GELU函数的数学表达式为： $$\text{GELU}(x) = x \cdot \Phi(x)$$ 其中： $x$ 是输入。