神经网络中的权重初始化：Why and How

神经网络中的权重（weight）初始化是个常常被忽略的问题。 最近在手写一个Python的神经网络库，刚开始为了测试代码是否写对，搭建了一个2->4->2的单隐层神经网络来拟合异或运算，拟合结果十分完美。 但是在做MNIST手写数字识别，将网络扩展到了784->100->10时，发现损失函数一直不下降，训练准确率一直停留在10%左右（和随机猜的命中概率一样嘛）。 一直以为是back propaga

>>阅读原文<<