最优化算法之梯度下降法

0 前言     优化问题最常见的求解方式是迭代优化，常见的优化算法有梯度下降。因此来记录下梯度下降算法。 1  原理     优化的目标是损失函数最小化，函数的梯度方向代表了函数值增长最快的方向，那么和它相反的方向就是函数减少速度最快的方向。梯度下降的优化思想是用当前位置负梯度（相反方向）方向作为搜索方向，也称“最速下降法”。梯度下降法是迭代算法，每一步需要求解目标函数与梯度向量。      

>>阅读原文<<