深度学习小白——神经网络5（参数更新）

1、参数更新python 1.随机梯度降低及各类更新方法算法 【普通更新】：沿着负梯度方向改变参数网络 x+= -learning_rate * dxide 其中学习率是一个超参数，它是一个固定的常量。函数 【动量更新】（Momentum）性能 这个方法在深度网络上几乎总能获得更好的收敛速度。是从物理角度上对最优化问题获得的启发。它将损失值理解为是山的高度（所以高度势能是U=mgh,因此U正比于h

>>阅读原文<<