最小二乘法--梯度下降法 牛顿法 高斯牛顿法

推导过程 最小二乘法 最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 梯度下降法 关于梯度下降算法的直观理解，我们以一个人下山为例。比如刚开始的初始位置是在红色的山

>>阅读原文<<