CS231n学习笔记--2.NN2

1.不能将神经网络所有的权重都初始化为0，这样会导致所有的神经元输出都是相同的，进而在反向传播时所有的导数就都是相同的，导致所有的参数更新也是相同的。 2.还有其他很多初始化方法，batchnorm在一定程度上能够缓解初始化不好的情况。 3.关于BN，总结几点（来源于https://blog.csdn.net/malefactor/article/details/51476961）： (1)BN的

>>阅读原文<<