激活函数

激活函数是用来解决线性不可分问题的一个方法，常用来svm以及神经网络中。 常见的激活函数有sigmoid函数、tanh函数、softmax函数以及ReLU函数，上述方法都可以作为隐层神经元的输出。 1.sigmoid函数 导数为： 图像及导数图像： 图像结果在(0,1)之间，激活函数计算量大，反向传播求误差梯度时，会出现除法；并且在深层次网络中容易产生梯度消失问题（当梯度小于1时，预测值与真实值之

>>阅读原文<<