神经网络优化-学习率

  本文将介绍通过指数衰减的方法设置梯度下降算法中的学习率，通过指数衰减学习率既可以让模型的前期快速接近较优解，又可以保证模型在训练后期不会有太大的波动，从而更加接近局部最优。   在神经网络中需要设置学习率来控制参数更新的速度，如果幅度过大，那么有可能导致参数在极优值的两侧来回移动，如果学习率过小，虽然能保证收敛性，但是这会大大降低优化速度。TensorFlow中提供一种灵活的学习率的设置方法-

>>阅读原文<<