神经网络的激活函数（一）概述

文档摘要

神经网络的激活函数（一）综述激活函数（Activation Function）是人工神经网络中的一个关键组件，它的作用是为神经网络引入非线性因素。如果没有激活函数，神经网络无论有多少层，都只能表示输入和输出之间的线性关系，这大大限制了网络处理复杂问题的能力。激活函数通常在神经网络的每个神经元或节点上应用，它们帮助网络学习和表示复杂的函数。 00 发展历史 01 Sigmoid Sigmoid函数是最早被广泛使用的激活函数之一，它的公式为： $$\sigma(x) = \frac{1}{1+e^{-x}}$$ Sigmoid函数的输出范围在0到1之间，Sigmoid函数的主要问题是在输入很大或很小的情况下，梯度会变得很小，这会导致梯度消失的问题，从而影响网络的训练效果。