激活函数的比较

在深度网络中激活函数的作用： 引入非线性。提升网络的表达能力 激活函数的对比 Sigmoid： sigmoid的计算量大（相比Relu），反向传播容易出现梯度消失，输出均大于0，使得输出均值不为0，出现偏移现象。 tanh： 双曲正切计算量更大，依然有软饱和性； Relu: 收敛速度比sigmoid和tanh快很多（差值更大导致loss更大），缺点是输出会落入赢饱和区，影响网络收敛区。 Lekyr

>>阅读原文<<