（十）机器学习_梯度下降技巧2_学习率

一、背景 梯度下降的使用技巧2： 学习率。 技巧1是特征值的缩放，关乎梯度下降的收敛快慢；技巧2是学习率，涉及到了梯度下降中的步伐大小。 二、梯度下降的两个问题 问题一：调试以确保梯度下降正常工作 方法1：可以通过观察下面的图像左侧。 关于迭代次数和代价函数的图像。每一次迭代得到一个参数值使得此时的代价函数是取得最小值的。如果梯度下降运行正确的话，那么代价函数应该随着迭代次数逐渐下降。如图，在30

>>阅读原文<<