cs231n笔记-激活函数与权重初值

1. Sigmoid 存在的问题： 饱和神经元使得梯度消失。 当输入x过大或者过小时，从sigmoid的曲线都可以看到，区域水平，这将导致梯度消失。 sigmoid不是一个零中心函数。 上游回传的梯度 d L d f \frac{dL}{df} dfdL​的数值正负皆有可能，权重的梯度 d f d W = x \frac{df}{dW}=x dWdf​=x，如果输入x恒为正，则相当于保留了上游梯度

>>阅读原文<<