深度学习_深度学习基础知识_学习率相关技巧

差分学习率 对不同的网络层数使用不同的学习率，这样可以防止过拟合，有利于加速学习。 寻找合适的学习率 周期性学习率 + loss的组合进行学习率选取。首先尝试使用较低学习率来训练神经网络，以指数形式增加，同时，记录每个学习率对应的loss值，然后画出学习率和loss值的关系图，通过找出学习率最高且loss值人在下降的值来确定最佳学习率。 使用余弦退火的方法 在采用批次随机梯度下降算法时，神经网络应

>>阅读原文<<