最优化算法之梯度降低法

0 前言     优化问题最多见的求解方式是迭代优化，常见的优化算法有梯度降低。所以来记录下梯度降低算法。python 1  原理     优化的目标是损失函数最小化，函数的梯度方向表明了函数值增加最快的方向，那么和它相反的方向就是函数减小速度最快的方向。梯度降低的优化思想是用当前位置负梯度（相反方向）方向做为搜索方向，也称“最速降低法”。梯度降低法是迭代算法，每一步须要求解目标函数与梯度向量。算

>>阅读原文<<