思考ReLU函数

激活函数的作用？ 是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算叠加了若干层以后，无非还是个矩阵相乘罢了。如果没有非线性的话，根本算不上什么神经网络。 为什么ReLU效果好？ 为什么ReLU好过sigmoid呢？首先看一下sigmoid和ReLU的曲线： 然后可以得到sigmoid的导数： 以及ReLU的导数： 结论就是sigmoid的导数只有在0附近的时候有比较好的激活

>>阅读原文<<