李宏毅-深度学习之梯度降低

回归算法的应用 1.梯度降低(Gradient Descent) 1.1什么是梯度降低 梯度降低算法(随机梯度降低算法(SGD)、小批量梯度降低算法(mini-batch SGD))都须要对于每个参数都用相同的学习率进行更新。 可是在实际应用中,各个参数的重要性确定是不同的,因此咱们对于不一样的参数要动态的采起不一样的学习率,让目标函数更快的收敛。web 1.1.1自适应学习率(Adaptive
相关文章
相关标签/搜索