深度学习小白——神经网络1(激活函数)

1、激活函数函数 1. Sigmoid                    学习 它能够将输入实数值压缩到0到1的范围内，更具体地说，很大的负数变为0，很大的正数变为1。 但sigmoid 函数有几个缺点监控 sigmoid函数饱和使梯度消失，当神经元的激活在接近0或者1时会饱和，在这些区域，梯度几乎为0，这样，在反向传播过程当中，局部梯度就会接近0，这会有效地“杀死”梯度 Sigmoid函数的

>>阅读原文<<