激活函数

首先激活函数肯定非线性连续的。 一.sigmoid 隐患1：饱和神经元导致梯度消失： 如果此时输入sigmoid的 x x x值为10或者-10等， x x x是位于饱和区的数，该位置sigmoid的梯度（斜率）是几乎为0的正数，即在此处 ∂ σ ∂ x ≈ 0 ( 正 ) \frac{\partial \sigma}{\partial x }\approx 0(正) ∂x∂σ​≈0(正)，会使得

>>阅读原文<<