cs231n 更好的优化

    这边开始讲到在训练网络的过程中，更好的优化，目前人们使用的正则化项减少过拟合，迁移学习，当你的测试数据小于预期时，怎么把问题转换成另一种问题。等问题。     在使用随机梯度下降法的时候，会遇到鞍点，局部最小值的问题。在训练大网络中，鞍点的问题更加的普遍。 而在一般实际训练的过程当中，我们使用的是小批量梯度下降法，所以在实际中训练的不是实际的梯度，这就相当于在梯度下降过程中加了干扰。 但这

>>阅读原文<<