神经网络激活函数

激活函数分为两大类：饱和函数和非饱和函数。 非饱和函数的优点： (1)"非饱和激活函数”能解决所谓的“梯度消失”问题； (2)它能加快收敛速度。 常见的饱和函数：sigmoid、tanh； 常见的非饱和函数：ReLU等。 1.sigmoid sigmoid函数将一个实值输入压缩至[0,1]的范围。 函数图像如下： sigmoid的不足： 1.容易出现梯度消失； 2.函数输出不是零中心； 3.指数函

>>阅读原文<<