简单的最小二乘法

最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，最常用的就是最小二乘回归求解模型参数。 1 最小二乘的原理与要解决的问题 最小二乘法是由勒让德在19世纪发现的，原理的一般形式很简单，发现的过程是非常艰难的。形式如下式： 观测值就是我们的多组样本，理论值就是我们的假设拟合函数。 目标函数也就是在机器学习中常说的损失函数. 我们的目标是得到使目标函数最小化时候的拟合函数的

>>阅读原文<<