2.1 作用与必要性：引入非线性

文档摘要

2.1 作用与必要性：引入非线性 2.1 作用与必要性：引入非线性在深入探讨各种激活函数之前，理解其核心作用和必要性至关重要。简单来说，激活函数在神经网络中扮演着“非线性转换器”的角色，赋予网络学习复杂、非线性关系的能力。如果没有激活函数，神经网络本质上就是一个线性回归模型，无法解决现实世界中普遍存在的非线性问题。 2.1.1 线性模型的局限性想象一下，如果我们没有激活函数，神经网络的每一层都只进行线性运算。这意味着，每一层仅仅是将输入进行加权求和，然后加上一个偏置项。数学上可以表示为：其中：是该层的输出（未经过激活函数）。是权重矩阵。是输入。是偏置向量。如果我们堆叠多层这样的线性层，最终的输出仍然是输入的线性组合。