矩阵求导阶最小二乘法的推导

最小二乘法的目标：求误差的最小平方和。对应有两种模型：线性模型和非线性模型。如果矩阵是可逆的，线性模型最小二乘的解是closed-form（闭式解）即 而非线性最小二乘没有closed-form（闭式解），通常用迭代法求解。其中有很多比较有名的迭代法，如梯度下降法(又分为批梯度下降、随机梯度下降)、牛顿法、拟牛顿法等，它们的应用条件更为广泛（无约束），都是通过迭代更新来逐步进行的参数优化方法，最终

>>阅读原文<<