sigmoid函数的数值稳定性

在深度学习中，我们常常选用sigmoid函数作为激活函数。sigmoid函数的具体形式如下： f(x)=11+e−x 曲线表示为： 再画大一点，取x区间更大一些，则为： 显然从图像上看，sigmoid函数是数值稳定的，即对于更大范围的x，y的取值是连续的，有效的。 从理论上看， limx→+∞f(x)=1;limx→−∞f(x)=0 且中间数值可以从数学上证明是稳定的。 但我们考虑1-f(x)呢？

>>阅读原文<<