激活函数

1. sigmoid sigmoid是很常用的非线性激活函数，其取值范围为[0,1]，连续可导函数，因此，实际应用中可以把sigmoid的结果当成概率值。典型例子如逻辑回归 sigmoid的导数为： 图像如下： 当 z 值非常大或者非常小时，sigmoid函数的导数 g′(z) 将接近 0 。这会导致权重 W 的梯度接近 0 ，使得梯度更新十分缓慢，即梯度消失（sigmoid后值都在0-1之间，此

>>阅读原文<<