激活函数

激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。 sigmoid和tanh是“饱和激活函数”，而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点：     1.首先，“非饱和激活函数”能解决所谓的“梯度消失”问题。     2.其次，它能加快收敛速度。     Sigmoid函数需要一个实值输入压缩至[0,1]的范围     σ(x) = 1 / (1 +

>>阅读原文<<