2.7 常用激活函数

文档摘要

2.7 常用激活函数第二章：数学与机器学习基础领域 - 2.7 常用激活函数详解及代码实践 2.7.1 激活函数概述激活函数（Activation Function）在神经网络中扮演着至关重要的角色，它位于神经元的线性变换之后，引入非线性特性。如果没有激活函数，无论神经网络有多少层，都只能进行线性变换，这限制了其表达能力，无法解决复杂的非线性问题。激活函数的主要作用可以概括为以下几点：引入非线性: 这是激活函数最核心的作用。真实世界的数据往往是非线性的，激活函数使得神经网络能够学习和模拟这些复杂的非线性关系。限制输出范围: 部分激活函数可以将神经元的输出值限制在特定的范围内，例如Sigmoid函数将输出限制在[0, 1]之间，这在某些任务中非常有用，例如概率输出。