梯度降低法与牛顿法

1 梯度降低法 梯度降低法（gradient descent：GD） 梯度： f(θ) 在 θ0 处的梯度表示 f(θ) 在点 θ0 处函数值变化最快的方向。 对于凸函数 f(θ) 来讲，沿着负梯度方向寻找能够找到函数的极小值 web θk+1=θk−ηf′(θk) k 表示第 k 步迭代， η 表示修正因子(步长)，由于梯度方向变化最快，只在局部有效 若是对于多维情形，表示为 θk+1=θk−η

>>阅读原文<<