数据压缩作业 | 最小二乘法——梯度下降法、牛顿法、高斯牛顿法原理总结

线性预测器最佳预测系数线性方程的推导： 最小二乘法 通过最小化误差的平方和寻找数据的最佳函数匹配。利用最下二乘法可以简便地求得未知数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可以通过最小化能量或最大化熵用最小二乘法来表达。 线性最小二乘法基本公式： 考虑超定方程组（超定指方程个数大于未知量个数）： 其中m代表有m个等式，n代表有 n 个

>>阅读原文<<