2. 激活函数 (Activation Functions)

文档摘要

激活函数 (Activation Functions) 激活函数 (Activation Functions) 激活函数是神经网络中至关重要的组成部分。它们位于神经元的线性变换之后，负责引入非线性特性，使得神经网络能够学习和逼近复杂的非线性函数。如果没有激活函数，无论神经网络有多少层，都只能表示线性变换，其表达能力将受到极大限制。 2.1 作用与必要性：引入非线性神经网络的本质是通过多层神经元的组合，学习输入数据到输出数据之间的复杂映射关系。每个神经元接收来自上一层的输入，进行加权求和，然后加上偏置项。如果没有激活函数，这个过程本质上就是一个线性变换。多层线性变换的组合仍然是线性变换，无法学习非线性模式。