【深度学习】深度学习权重初始化

本文对CS231中的Training Neural Networks的权重更新部分进行记录 权重的初始化在深度神经网络中起着比较大的重要，算是一个trick，但在实际应用上确是个大杀器。 1. 如果一开始把网络中的权重初始化为0，会发生什么？ 因为权重初始为0， 由于网络中的神经元的更新机制完全相同，由于网络的对称性，会产生各个layer中产生相同的梯度更新，导致所有的权重最后值相同，收敛会出现问

>>阅读原文<<