深度学习中常见的激活函数

深度学习中有四个常见的激活函数，总是记了会忘，忘了就混了，哎，记录一下。 1.Sigmoid函数 ：                                                 缺点：输入较小或较大时，梯度消失，函数达到饱和则会杀死梯度，反向传播求误差梯度时，易出现梯度消失 （导数从零开始->很快趋于0，造成梯度消失） 2.tanh函数：   差图片一张： 3.Relu函数 ：

>>阅读原文<<