梯度降低法中的参数学习速率如何选择

梯度降低算法每次迭代，都会受到学习速率α的影响。 若是α较小，则达到收敛所须要迭代的次数就会很是高；若是α较大，则每次迭代可能不会减少代价函数的结果，甚至会超过局部最小值致使没法收敛。 根据经验，能够从如下几个数值开始试验α的值，0.001 ,0.003, 0.01, 0.03, 0.1, 0.3, 1, … α初始值位0.001, 不符合预期乘以3倍用0.003代替，不符合预期再用0.01替代，

>>阅读原文<<