深度学习总结(一)——参数初始化

1. 参数初始化的目的是什么？ 为了让神经网络在训练过程中学习到有用的信息，这意味着参数梯度不应该为0。而我们知道在全连接的神经网络中，参数梯度和反向传播得到的状态梯度以及入激活值有关。那么参数初始化应该满足以下两个条件： 初始化必要条件一：各层激活值不会出现饱和现象； 初始化必要条件二：各层激活值不为0。 2. 把参数都初始化为0会是比较好的初始化？ 这样做其实会带来一个问题，经过正向传播和反向

>>阅读原文<<