14、权重初始化,为什么不能全部初始化为0

当我们在训练一个神经网络的时候,参数的随机初始化是非常重要的,对于逻辑回归来说,把参数初始化为0是很ok的。但是对于一个神经网络,如果我们将权重或者是所有参数初始化为0,梯度下降算法将不会起到任何作用。 1. 为什么逻辑回归参数初始化为0是ok的? 2. 为什么神经网络的权重或所有参数初始化为0,梯度下降不再work? 总结一下:在神经网络中,如果将权值初始化为 0 ,或者其他统一的常量,会导致后
相关文章
相关标签/搜索