斯坦福机器学习第三课——牛顿迭代法与广义线性模型（Generalized Linear Models）

在进入正题之前，来讨论一下牛顿迭代法。 和梯度求导法一样，牛顿迭代法也是一种求最大似然的ℓ(θ)的方法。其基本过程为： 1.找到曲线上横坐标x=0的点f(0) 2.对f(0)点做切线 3.切线和横坐标交于另外一点A1，再找到曲线上对应的点f(1) 4.对f(1)点做切线 5.依次重复以上过程，直到f(x)=0为止。 与梯度求导法相比，牛顿迭代法收敛速度快，迭代次数少。但是代价高，因为它要对N*N维

>>阅读原文<<