激活函数名称

函数输入–输出关系

线性函数

$y=\delta \left(u-b\right)$ $\left(\delta >0\right)$

正线性函数

$y=\{\begin{array}{c}0u-b>0\\ \delta \left(u-b\right)u-b>0\end{array}\left(\delta >0\right)$

对称Sigmoid函数

$y=\frac{\exp \left(\alpha \right)-\exp \left(\alpha \right)}{\exp \left(\alpha \right)+\exp \left(\alpha \right)}\left(\alpha =u-b\right)$

Sigmoid函数

$y=\frac{1}{1+\exp \left(-\lambda \left(u-b\right)\right)}\lambda >0$

单位阶跃函数

$y=\{\begin{array}{c}0u-b<0\\ 1u-b\ge 0\end{array}$

对称阶跃函数

$y=\{\begin{array}{c}-1u-b<0\\ 1u-b\ge 0\end{array}$