优化器--牛顿法总结

 

 

---这里记录下一些关于牛顿法来做为优化器的我的笔记 ：）

关于牛顿法，先不说其中的概念，来简单看一个例子？ 不用计算器，如何手动开一个值的平方根，好比计算{sqrt(a) | a=4 } ？ 不用程序和代码如何求？

　　----比较简单有木有，直接上用公式来套就行了.

　　　　　　x_t = ( x_t-1 + ( a / x_t-1 ) ) / 2

　　　　　　咱们看 sqrt(4) 这个值的区间在1<=sqrt(4)<=4里，写成这种形式吧[1,4],咱们令x₀ = 1,

　　　　　　x = ( 1 + (4/1))/2 = 5/2 =2.5

　　　　　　x = (2.5 + (4/2.5))/2 = 2.05

　　　　　　x = (2.05 + ( 4 /2.05 ))/2 = 2.0006 

　　　　　　　　.....

    因而咱们就求出x的近似值为2

那么这个公式是如何得来的呢？

　　这个公式实际上是依据牛顿法得来的？牛顿法长成什么样子呢？

　　　　 就是长成这个样子，咱们发现这个样子和咱们的SGD仍是很像的，这二者的区别记录在后面吧～。

而牛顿迭代法，这个公式其实就是泰勒级数展开的前几项 f(x)，并使得f(x) =0，求解后的结果，而泰勒级数是采用无限项的来等价表示一个函数，好比：

，那牛顿法采用的是泰勒级数的前几项 -- 有限的项，来近似表示一个函数f(x).

那么如何上面这个公式是如何经过牛顿法获得的呢？

　　上面的题，咱们将其转换车更加通用的一些，好比改成如何求解sqrt(a)? 

 ------这又等价于sqrt(a)=x  转换成-->  x^2 = a , (a 属于实数域)，  进一步转换成--->f(x) = x^2 -a =0

咱们知道 f(x) = x^2 - a =0 ，由于只要求某一个点的值，因此咱们只须要知道这个点的切线就能够了， 由此咱们依据泰勒级数定义，对其进行一阶展开，能够知道 f(x) ～g(x) =  f(x0) + f ' (x0)*(x - x0),咱们令g(x)=0

因而咱们就获得了 x = x0 - f(x0) / f '(x0);

　　而后咱们再次化解这个公式：

　　　　　　　　x = x0 - (x0^2 - a / 2x0 )  = (x0^2 + a) /2x0  = (x0 + a/x0)/2

      这样咱们就获得了最开始的那个公式了。

可是咱们在用牛顿法做为优化器的时候，是要求极小值的啊？ 那么如何快速的求出极小值呢？

　　　咱们知道一阶导，为曲线切线方向，二阶导为切线的切线方向回想一下SGD法，SGD只是在一阶导上，进行权值更新，基本上就是处于求切线方向，前进一个步长，而后再矫正，再求当前点的切线，再矫正：

　　

 

这种方式就会出现绿线的状况，那么牛顿法就給出另外一种思路： 咱们再沿着切线方向走的时候，没必要按照固定的步长走动，咱们能够依据切线的变化率来动态调整行走的步子，因而就有了这个公式：

 当二阶导趋近于0的时候，说明一阶导有极小值，那么此时就应该让它接近这个极小值，而loss函数为凸函数 ，f’(x)趋近极小值的时候，f(x)就也就能够快速的接近极小值，而不出现大幅度摇摆，就出现了红色那条线.

通常来讲，对于那种高阶多项式采用牛顿法效果会比SGD好些.