最小二乘法，梯度下降法，牛顿迭代法，高斯牛顿法原理整理

最小二乘法 基本公式： 考虑超定方程组（超定指方程个数大于未知量个数）： 其中m代表有m个等式，n代表有 n 个未知数 ，m>n ；将其进行向量化后为： 　　 ， ， 显然该方程组一般而言没有解，所以为了选取最合适的 让该等式"尽量成立"，引入残差平方和函数S （在统计学中，残差平方和函数可以看成n倍的均方误差MSE） 梯度下降法 梯度下降法是一个最优化算法，常用于机器学习和人工智能当中用来递归性

>>阅读原文<<