第六讲-训练神经网络（上）--课时14-激活函数

激活函数 ----------------------------------------------------------------------------------------------- sigmoid：将值激活压缩到0-1之间 缺点： （1）梯度很容易为0，这个激活结点杀死了反向传播回来的梯度，易造成梯度消失 （2）激活之后的均值不是0，全部都是正值（0-1之间） f = sum(

>>阅读原文<<