[深度学习] 网络参数初始化

网络参数初始化 神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍，相反，糟糕的初始化方案不仅会影响网络收敛，甚至会导致梯度弥散或爆炸。 网络初始化的方案 全零初始化 当网络达到稳定状态时， 参数（权值）在理想情况下应该保持正负各半（此时期望为0）。因此一

>>阅读原文<<