Relu浅谈

relu主要的作用是： 1，防止梯度弥散 2，稀疏性 3，加快计算 首先我们看下sigmoid和relu的曲线 然后可以得到sigmoid的导数 以及relu的导数 结论就是sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度弥散，而relu函数在大于0的部分梯度为常数，所以不会产生梯度弥散现象。第二，relu函数在负半区的导数为0 ，所以一旦神经

>>阅读原文<<