神经网络-常用激活函数

https://www.jianshu.com/p/b8ded87e0c0c   常用的激活函数有三种： 1.Sigmoid or Logistic 2.Tanh-双曲正切 3.ReLu-线性整流函数 Sigmoid 激活函数： f(x) = 1 / 1 + exp(-x) 该函数的取值范围为0到1。这是一个S型曲线，容易理解和使用，但是有缺陷：1）消失的梯度问题， 2）输出不是以0为中心的，它会

>>阅读原文<<