深度学习入门笔记手稿（七）梯度消失与梯度爆炸和神经网络权重初始化

深度学习入门笔记手稿（七）梯度消失与梯度爆炸和神经网络权重初始化 梯度消失与梯度爆炸 神经网络的权重初始化 梯度消失与梯度爆炸 训练神经网络会面临导数或梯度变得非常大，或者非常小，这加大了训练难度，而明智的选择随机初始化权重可避免这一问题。 下图是梯度消失和梯度爆炸产生的原因： 神经网络的权重初始化 针对梯度消失和梯度爆炸的问题 z=w1x1+w2x2+…xnwn 为了预防z值过大或过小，则n越大

>>阅读原文<<