深度学习的激活函数 ：sigmoid、tanh、ReLU 、Leaky Relu、RReLU、softsign 、softplus

激活函数可以分为两大类 ： 饱和激活函数： sigmoid、 tanh 非饱和激活函数: ReLU 、Leaky Relu   、ELU【指数线性单元】、PReLU【参数化的ReLU 】、RReLU【随机ReLU】 相对于饱和激活函数，使用“非饱和激活函数”的优势在于两点：     1.首先，“非饱和激活函数”能解决深度神经网络【层数非常多！！】的“梯度消失”问题，浅层网络【三五层那种】才用sig

>>阅读原文<<