最小二乘解总结

最小二乘的原理与要解决的问题 最小二乘的原理就是找到一组未知数，能使得目标值与估计值之间的残差最小化。 最小二乘法的解法： 1.线性回归解法： 用矩阵的形式将损失函数表示出来，然后对损失函数矩阵求导， 这是线性回归的最小二乘法的求解结果。 最小二乘矩阵法（线性回归）的局限性： 不适用于大规模的解，因为要计算矩阵的逆。并且要保证矩阵是有逆的才能继续。 而梯度下降方法可以对任何问题进行求解。

>>阅读原文<<