【深度学习】深度学习中常用的激活函数

近来研究深度学习，发现里面的trick很多，特地用blog记录下，以免以后忘掉 本文主要介绍常用的的激活函数， Sigmoid, tanh, Relu, Leaky relu Sigmoid激活函数 sigmoid函数在历史上很受欢迎，因为他很符合神经元的特征， 优点是： 能够把输出控制在[0,1]之间， 直观 缺点是：1）他的饱和区和未激活区的梯度均为0，容易造成梯度弥散，比如x = 10时和x

>>阅读原文<<