深度学习总结(二)——激活函数的介绍

1. ReLU函数 用ReLU代替了传统的Tanh或者Logistic。 优点： ReLU本质上是分段线性模型，前向计算非常简单，无需指数之类操作； ReLU的偏导也很简单，反向传播梯度，无需指数或者除法之类操作；ReLU不容易发生梯度发散问题，Tanh和Logistic激活函数在两端的时候导数容易趋近于零，多级连乘后梯度更加约等于0； ReLU关闭了左边，从而会使得很多的隐层输出为0，即网络变得

>>阅读原文<<