激活函数比较

激活函数（ Activation Function ）能够把输入的特征保留并映射下来。 Sigmoid Sigmoid 非线性函数将输入映射到 (0,1) 之间。它的数学公式为： σ(x)=11+e−x 。 历史上， sigmoid 函数曾非常常用，然而现在它已经不太受欢迎，实际很少使用了，因为它主要有两个缺点： 函数饱和使梯度消失 sigmoid 神经元在值为 0 或 1 的时候接近饱和，这些区

>>阅读原文<<