深度学习基础技术分析3：深度学习

如果我们初始化神经网络的权值为 [ 0 , 1 ] [0,1] [0,1]之间的随机值，由反向传播算法的数学推导可知，梯度从后向前传播时，每传递一层梯度值都会减小为原来的0.25倍，如果神经网络隐层特别多，那么梯度在穿过多层后将变得非常小接近于0，即出现梯度消失现象；当网络权值初始化为$ (1, +\infty)$区间内的值，则会出现梯度爆炸情况。 详细数学分析见文章：http://neuraln

>>阅读原文<<