2.2 常见激活函数及其特性

文档摘要

2.2 常见激活函数及其特性 2.2 常见激活函数及其特性激活函数在神经网络中扮演着至关重要的角色。它们引入了非线性因素，使得神经网络能够学习和逼近复杂的非线性函数。如果没有激活函数，无论神经网络有多少层，都只能表示线性函数，其表达能力将大打折扣。本节将深入探讨几种常见的激活函数，包括它们的特性、优缺点以及适用场景。 2.2.1 Sigmoid 函数 Sigmoid 函数，也称为 Logistic 函数，将输入值映射到 0 到 1 之间的范围内。它的数学表达式如下： σ(x) = 1 / (1 + exp(-x)) 特性：输出范围有限：将输入压缩到 (0, 1) 范围内，可以解释为概率。连续且可微：满足梯度下降优化的要求。单调递增：输入越大，输出越大。