回归优化方法——梯度下降法、牛顿法、拟牛顿法

      在解决优化问题时，最常见的方法是梯度下降法、牛顿法、拟牛顿法 一、梯度下降法       首先，回顾几个概念：       导数：函数曲线上的某一点的导数大于零，表明函数在该点沿着 x x 轴的正方向趋于增加；反之，表明函数在该点沿着 x x 轴的正方向趋于减小；       方向导数：上述导数的定义指的是沿着 x x 轴的正方向，而方向导数指的是某一点沿着任意趋近方向上的导数值；  

>>阅读原文<<