神经网络初始化权重方法

神经网络参数的初始化   对于神经网络中的参数，如权重和偏置，往往我们需要初始化，最常规的方法就是正态分布初始化这些参数，但是采用什么均值和方差的正态分布初始化参数却是需要仔细考虑的。   上一篇博文讲述了如何防止网络训练在最后一层出现饱和，导致参数更新缓慢的问题，就是使用了交叉熵损失函数，但是这只能对输出层有效，对于其他层却还是有可能出现这个问题。 （1）未合理初始化带来的问题   假如所有参数

>>阅读原文<<