激活函数层

激活函数层 饱和函数：sigmoid\tanh （饱和函数应该是说输入达到一定的值以后，输出就不再变化了，饱和了） 梯度消失没有sigmoid那么严重，但是如果在几十上百层的网络上，又会变的不明显 非饱和函数ReLU 负半轴会导致神经元死亡

>>阅读原文<<