神经网络训练心得1

最近刚学习完cnn的一些基础理论，就立刻写了一个自己的LeNet-5对cifar-10进行训练，现将调试的第一条心得记录如下： 第一是在进行权重初始化（weight initialization）的时候一定要小心，不是随便给出几个小的随机数就万事大吉了，当神经网络层数不多的时候，或许没什么太大的影响，但当网络变深的时候，激活函数可能会变为了0！这时候无论怎么训练，准确率也只有随机水平 第二是学习率

>>阅读原文<<