《最优化导论》-8梯度方法

1.梯度迭代 a>0时，负梯度方向，是函数值下降方向 1.1梯度下降法 当接近极小值时，梯度接近0，通用形式如下，有一些具体实现： 1）最速下降法 梯度下降的一种具体实现，理念是在每次迭代时，选择最佳合适的步长ak,使得目标函数值最大程度的减少。 流程：初始迭代点出发，沿负梯度方向开展前面说的一维搜索，找到最优步长a，从而确定新的迭代出发点，不断这样，直至收敛（实际小于某些阀值即可）。 可以发现，

>>阅读原文<<