参数更新方法

代码实现 https://github.com/hsmyy/zhihuzhuanlan/blob/master/momentum.ipynb 1、梯度下降法 加大梯度下降的步长 继续加大步长 2、动量更新 Momentum改进自SGD算法，让每一次的参数更新方向不仅仅取决于当前位置的梯度，还受到上一次参数更新方向的影响。 v = mu * v - learning_rate * dx # inte

>>阅读原文<<