神经网络训练细节

本文章中截图来自斯坦福大学深度学习课程 权重初始化 1.当用0初始化权重时会发生什么？     由于权重都为0，给定一个输入，每个神经元将在输入数据上有同样的操作，输出同样的值，得到相同的梯度，使用相同的方式更新，从而得到相同的神经元。  2.当权重初始化值太小时：激活值逐渐变成0，梯度也会变成0，因为不断乘以这么小的数，所有的都会变成0 3.当权重初始化值太大时：激活值饱和，梯度接近0 数据预处

>>阅读原文<<