几种激活函数比较

几种激活函数比较 为什么用激活函数 如果不用激励函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合。 如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。 激活函数比较 a=sigmoid(z) 优点：输出为（0，1） 缺点：z足够大或者足够小时导数趋于零，使得梯度下降太慢；函数不是以

>>阅读原文<<