学习率a的计算标准

当学习率a非固定时,因为梯度下降是找的最小值,那么,在和给定的前提下,即寻找的最小值,即 进一步,如果h(α)可导,局部最小值处的α 满足: 对于该二次近似函数: 两种方法: 1、线性搜索(Line Search)(最简单)      二分线性搜索(Bisection Line Search)  不断将区间[α1, α2]分成两半,选择端点异号 的一侧,知道区间足够小或者找到当前最优学 习率。 2
相关文章
相关标签/搜索