[优化方法] 梯度降低法、最小二乘法、牛顿法、拟牛顿法、共轭梯度法

1、梯度降低法 一、算法原理 关于梯度的优化优化方法主要包括梯度上升和梯度降低，若是想要求最大值，则使用梯度上升法，若是想要去最小值，则使用梯度降低法。本文主要讲梯度降低法，梯度降低法是指参数不断沿着负梯度方向不断更新，直到最小值，其形象化表示以下图：html 如上图所示，在A处找到其梯度降低最快的方向，沿着此方向走到A1点，接着在A1点沿着降低最快的方向走到A2点，直到最终走到AEnd点。git

>>阅读原文<<