神经网络中常用的激活函数

ReLu $\max(0,z)$ 　　修正线性单元，是最常用的非线性映射函数。常在神经网络隐层中使用，因为它在反向传播中计算导数十分方便。导数为： $\left\{\begin{aligned}&1,z\ge0\\&0,z<0\end{aligned}\right.$ softplus  $\log(1+e^z)$ 　　ReLu的“软化版”。导数为： $\displaystyle 1-\frac{

>>阅读原文<<