最小二乘法与梯度降低法有哪些区别？

一、最小二乘法的目标：求偏差的最小平方和，对应有两种：线性和非线性。线性最小二乘的解是closed-form即，而非线性最小二乘没有closed-form，一般用迭代法求解。优化 二、迭代法，即在每一步update未知量逐渐逼近解，能够用于各类各样的问题（包括最小二乘），好比求的不是偏差的最小平方和而是最小立方和。spa a）梯度降低是迭代法的一种，能够用于求解最小二乘问题（线性和非线性均可以）。

>>阅读原文<<