最速梯度降低法

梯度降低法是一个一阶最优化算法，一般也称为最速降低法。算法 梯度降低法，就是利用负梯度方向来决定每次迭代的新的搜索方向，使得每次迭代能使待优化的目标函数逐步减少。梯度降低法是2范数下的最速降低法。函数     最速降低法的一种简单形式是：x(k+1)=x(k)-a*g(k),其中a称为学习速率，能够是较小的常数。g（k）是x(k)的梯度。性能     直观的说，就是在一个有中心的等值线中，从初始值

>>阅读原文<<