最小二乘法之梯度下降法、牛顿法和高斯牛顿法理解

最小二乘法是一种数学优化技术。他的基本思路是通过最小化误差的平方和从而最大化的拟合与数据匹配的函数表达式。不仅如此，通过最小二乘法还可以求出未知数据的大概数值等。 最小梯度法： 首先先明确一下梯度的概念，我们先从简单入手，假设有一个二元函数f(x,y)，这个函数的梯度表达式如下： 我们可以注意到，这个表达式相当于将关于x和y的一个向量映射为了x关于f(x,y)的偏导和y关于f(x,y)的偏导的一个

>>阅读原文<<