深度神经网络原理代码实战学习笔记

这一章的内容其实就是把深度神经网络原理用MNIST分类代码讲解了一遍，其实还是前几节的内容，只不过更细一些，估计是老师担心大家前面没学懂，又在这把前面的内容总结再讲，以利于大家都听懂吧。 更细的方面应该有以下两点吧： 1、学习率如何退化，说白了就是一开始学习率较大利于跳过一些山谷即局部最优问题。 2梯度下降四个优化算法的区别，这一块我开始并不明白，SGD为何会导致参数学习收敛过程震荡，咨询老师，老

>>阅读原文<<