最小二乘法(牛顿法和随机梯度下降法)

首先最小二乘法是用来干什么的，他的目的是最小化误差平方之和，从而找到最优训练模型，这个模型可以用来更好的拟合训练的样本数据。 最小二乘法具体包括的执行算法有：随机梯度下降和牛顿法；随机梯度下降很简单，具体介绍在上一篇博客(与批梯度下降对比)及之前博客已有介绍；在这里重点学习一下牛顿法。 ** 一、随机梯度下降： 再放一张随机梯度下降法的求解过程，以用来最后于牛顿法做一些对比： 二、牛顿法： 牛顿法

>>阅读原文<<