总结最小二乘法、梯度下降、牛顿法、高斯牛顿法

一：线性预测器设计相关推导 二：最小二乘法 基本思想：最小二乘法则是一种统计学习优化技术，它的目标是最小化误差平方之和来作为目标，从而找到最优模型，这个模型可以拟合（fit）观察数据。 回归学习最常用的损失函数是平方损失函数，在此情况下，回归问题可以用著名的最小二乘法来解决。最小二乘法就是曲线拟合的一种解决方法。 最小二乘法的问题分为两类： 线性最小二乘法 非线性最小二乘法 如果是线性的则有闭式解

>>阅读原文<<