神经元建模 激活函数

      1、sigmoid函数 缺点：当输入大于或者小于某一个值以后，函数的导数为0，也就是说函数的梯度为0。梯度为0的话，就没法更新网络参数了，网络永远没法收敛，导致梯度消失的现象。所以一般不使用sigmoid函数作为激活函数。   2、relu函数 优点：可以解决梯度消失的问题，当输入x大于0的时候，函数导数为常数1。          函数梯度的求解非常简单。          大部分神

>>阅读原文<<