梯度下降更新算法

 梯度更新是要同时更新，如下图所示：θ0和θ1同时更新，而不是更新完一个后再更新另一个。       学习率α过小，梯度下降较慢，训练时间增长。若学习率α过大，梯度下降会越过最低点，难以得到最优的结果，导致难以收敛或发散。   如果参数值已是局部最优，进行梯度下降计算时导数是0，梯度下降不会作任何操作，参数不改变     在梯度下过程中无需修改学习率，因为在接近局部最有点时导数项会变小，梯度下降的

>>阅读原文<<