【初始化为0】深度学习为啥不能初始化为0以及初始化为0的各种情况表现

定义神经网络 首先，针对一个四层的神经网络如下图，不同情况下进行0初始化； 1、权重w和偏差b全部初始化为0 如果权重w和偏差b全部被初始化为0，则first hidden layer到output layer第一次计算全部为0；然后，再进行权重和偏差使用梯度下降算法更新时， 因为q为0，所以权重更新时变化量为0，但是偏差有所变化，而且每个偏差都不同，再次进行计算时所有层的输出结果理论上不再为0；

>>阅读原文<<