Relu函数，sigmoid函数，leaky Relu

Relu函数： y=max（0，x） 蓝色为Relu函数，红色曲线为Relu函数的导数。 优点： 1.在正区间内不会发生梯度消失问题， 2. 函数比较简单，求导计算复杂度较低。 3. 梯度能维持在不错的区间，也就是收敛速度快。 缺点： 1.负区间梯度一直为0，导致部分神经元不会被激活，相应的参数一直不被更新 2.非zero-centered，收敛速度一般   sigmoid函数定义： 从函数可以看

>>阅读原文<<