李宏毅 机器学习 -2017- Gradient Descent

由梯度(偏微分)和学习速率来更新新的训练参数,Gradient为Loss等高线的法线方向,注意负号 2)Learning Rate的调节方法 1)画出loss的更新曲线 2)自动调Learning Rate(与目标远的时候调高learning Rate,近的时候调低Learning Rate) 3)针对每个不同的参数设置不同的learing Rate:(Adagrad):每次更新w参数的时候在梯度
相关文章
相关标签/搜索