总结最小二乘法——梯度下降法、牛顿法、高斯牛顿法

** 二：最小二乘法 ** 1.定义： 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 2线性最小二乘的基本公式： 3梯度下降法与最小二乘法与牛顿法比较 梯度下降法

>>阅读原文<<