Why is Least Squares?为啥是最小二乘法？

梯度下降算法出现了最小二乘法，这是一种非常普遍的拟合函数的近似算法。但是，3次，4次都不是，为什么正好是平方形式呢？ 大概在高中时？老师谈到该方法，直接在散点图上划出一条直线，并作垂足，取最小距离，因为直线一侧定义为正，一侧为负，所以取平方值，综合所有点距离之和，最后所得即为最小二乘形式。 首先叙述Ng的方法，该方法是将离散的数据赋予概率的意义，然后估计参数。当然这并非“完全正确的”。实际上，将理

>>阅读原文<<