吴恩达机器学习笔记 P10 梯度下降

 梯度下降，是最小化代价函数（包括但不限于线性回归的代价函数）的常用方法。通过不断改变变量的值，找到最小化的方向，重复直至找到最小值。注意这里的最小值是局部最小值，不同的起点开始可能得到不同的最小值。（视频中以下山为例）。   梯度下降的定于如图所示    其中成为学习率，他控制着以多大的幅度更新参数。太小则找最低点的过程幅度变化小，需要更多步找到最低点，太大可能难以收敛或发散。 在这个定义中更新

>>阅读原文<<