激活函数总结1:ReLU及其变体

激活函数可以被分为2类，“饱和激活函数”和“非饱和激活函数”。sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：     （1）首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。     （2）其次，它能加快收敛速度。     Sigmoid函数需要一个实值输入压缩至[0,1]的范围，σ(x) = 1 / (1 + ex

>>阅读原文<<