最小二乘法小结

时间 2019-11-05

标签最小二乘小结繁體版

原文原文链接

http://www.cnblogs.com/pinard/p/5976811.htmlhtml

最小二乘法是用来作函数拟合或者求函数极值的方法。在机器学习，尤为是回归模型中，常常能够看到最小二乘法的身影，这里就对我对最小二乘法的认知作一个小结。机器学习

1.最小二乘法的原理与要解决的问题　

　　　　最小二乘法是由勒让德在19世纪发现的，原理的通常形式很简单，固然发现的过程是很是艰难的。形式以下式：分布式

　　　　　　目标函数 = Σ（观测值-理论值）²函数

　　　　观测值就是咱们的多组样本，理论值就是咱们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，咱们的目标是获得使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，好比咱们有m个只有一个特征的样本：学习

　　　　 $(x^{(1)}, y^{(1)}), (x^{(2)}, y^{(2)}, . . . (x^{(m)}, y^{(m)})$ 大数据

　　　　样本采用下面的拟合函数：优化

　　　　 $h_{θ} (x) = θ_{0} + θ_{1} x$ atom

　　　　这样咱们的样本有一个特征x，对应的拟合函数有两个参数 $θ_{0} 和 θ_{1}$ spa

须要求出。orm

　　　　咱们的目标函数为：

　　　　 $J (θ_{0}, θ_{1}) = \sum_{i = 1}^{m} (y^{(i)} - h_{θ} (x^{(i)})^{2} = \sum_{i = 1}^{m} (y^{(i)} - θ_{0} - θ_{1} x^{(i)})^{2}$

　　　　用最小二乘法作什么呢，使 $J (θ_{0}, θ_{1})$

最小，求出使 $J (θ_{0}, θ_{1})$

，这样拟合函数就得出了。

　　　　那么，最小二乘法怎么才能使 $J (θ_{0}, θ_{1})$

最小呢？

2.最小二乘法的代数法解法

　　　　上面提到要使 $J (θ_{0}, θ_{1})$

$J (θ_{0}, θ_{1})$

的值。下面咱们具体看看过程。

　　　　 $J (θ_{0}, θ_{1}) 对 θ_{0}$

求导，获得以下方程：

　　　　 $\sum_{i = 1}^{m} (y^{(i)} - θ_{0} - θ_{1} x^{(i)}) = 0$

①

　　　　 $J (θ_{0}, θ_{1}) 对 θ_{1}$

求导，获得以下方程：

　　　　 $\sum_{i = 1}^{m} (y^{(i)} - θ_{0} - θ_{1} x^{(i)}) x^{(i)} = 0$

　　　　　　　　 ②

　　　　①和②组成一个二元一次方程组，容易求出 $θ_{0} 和 θ_{1}$

的值：

　　　　 $θ_{0} = \sum_{i = 1}^{m} (x^{(i)})^{2} \sum_{i = 1}^{m} y^{(i)} - \sum_{i = 1}^{m} x^{(i)} \sum_{i = 1}^{m} x^{(i)} y^{(i)} / m \sum_{i = 1}^{m} (x^{(i)})^{2} - (\sum_{i = 1}^{m} x^{(i)})^{2}$

　　　　 $θ_{1} = m \sum_{i = 1}^{m} x^{(i)} y^{(i)} - \sum_{i = 1}^{m} x^{(i)} \sum_{i = 1}^{m} y^{(i)} / m \sum_{i = 1}^{m} (x^{(i)})^{2} - (\sum_{i = 1}^{m} x^{(i)})^{2}$

　　　　这个方法很容易推广到多个样本特征的线性拟合。

　　　　拟合函数表示为 $h_{θ} (x_{1}, x_{2}, . . . x_{n}) = θ_{0} + θ_{1} x_{1} + . . . + θ_{n} x_{n}$

$J (θ_{0}, θ_{1})$

，这样拟合函数表示为：

　　　　 $h_{θ} (x_{0}, x_{1}, . . . x_{n}) = \sum_{i = 0}^{n} θ_{i} x_{i}$

。

　　　　损失函数表示为：

$J (θ_{0}, θ_{1} . . ., θ_{n}) = \sum_{j = 1}^{m} (h_{θ} (x_{0}^{(j)}), x_{1}^{(j)}, . . . x_{n}^{(j)})) - y^{(j)}))^{2} = \sum_{j = 1}^{m} (\sum_{i = 0}^{n} θ_{i} x_{i}^{(j)} - y^{(j)})^{2}$

　　　　利用损失函数分别对 $θ_{i}$

(i=0,1,...n)求导,并令导数为0可得：

　　　　 $\sum_{j = 0}^{m} (\sum_{i = 0}^{n} (θ_{i} x_{i}^{(j)} - y^{(j)}) x_{i}^{(j)}$

= 0 (i=0,1,...n)

　　　　这样咱们获得一个N+1元一次方程组，这个方程组有N+1个方程，求解这个方程，就能够获得全部的N+1个未知的 $θ$

。

　　　　这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的同样，都是用损失函数对各个参数求导取0，而后求解方程组获得参数值。这里就不累述了。

3.最小二乘法的矩阵法解法

　　　　矩阵法比代数法要简洁，且矩阵运算能够取代循环，因此如今不少书和机器学习库都是用的矩阵法来作最小二乘法。

　　　　这里用上面的多元线性回归例子来描述矩阵法解法。

　　　　假设函数 $h_{θ} (x_{1}, x_{2}, . . . x_{n}) = θ_{0} + θ_{1} x_{1} + . . . + θ_{n} x_{n}$

的矩阵表达方式为：

　　　　　 $h_{θ} (x) = X θ$

　　　　其中，假设函数 $h_{θ} (X)$

$J (θ_{0}, θ_{1})$

为mxn维的矩阵。m表明样本的个数，n表明样本的特征数。

　　　　损失函数定义为 $J (θ) = \frac{1}{2} (X θ - Y)^{T} (X θ - Y)$

　　　　其中 $Y$

$J (θ_{0}, θ_{1})$

在这主要是为了求导后系数为1，方便计算。

　　　　根据最小二乘法的原理，咱们要对这个损失函数对 $θ$

向量求导取0。结果以下式：

　　　　 $\frac{\partial}{\partial θ} J (θ) = X^{T} (X θ - Y) = 0$

　　　　这里面用到了矩阵求导链式法则，和两个矩阵求导的公式。

　　　　　　公式1： $\frac{\partial}{\partial X} (X X^{T}) = 2 X$

　　　　　　公式2： $\frac{\partial}{\partial θ} (X θ) = X^{T}$

　　　　对上述求导等式整理后可得：

　　　　 $X^{T} X θ = X^{T} Y$

　　　　两边同时左乘 $(X^{T} X)^{- 1}$

可得：

　　　　 $θ = (X^{T} X)^{- 1} X^{T} Y$

　　　　这样咱们就一会儿求出了 $θ$

$J (θ_{0}, θ_{1})$

。

4.最小二乘法的局限性和适用场景　　

　　　　从上面能够看出，最小二乘法适用简洁高效，比梯度降低这样的迭代法彷佛方便不少。可是这里咱们就聊聊最小二乘法的局限性。

　　　　首先，最小二乘法须要计算 $X^{T} X$

$J (θ_{0}, θ_{1})$

的行列式不为0，而后继续使用最小二乘法。

　　　　第二，当样本特征n很是的大的时候，计算 $X^{T} X$

的逆矩阵是一个很是耗时的工做（nxn的矩阵求逆），甚至不可行。此时以梯度降低为表明的迭代法仍然可使用。那这个n到底多大就不适合最小二乘法呢？若是你没有不少的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者经过主成分分析下降特征的维度后再用最小二乘法。

　　　　第三，若是拟合函数不是线性的，这时没法使用最小二乘法，须要经过一些技巧转化为线性才能使用，此时梯度降低仍然能够用。

　　　　第四，讲一些特殊状况。当样本量m不多，小于特征数n的时候，这时拟合方程是欠定的，经常使用的优化方法都没法去拟合数据。当样本量m等于特征数n的时候，用方程组求解就能够了。当m大于n时，拟合方程是超定的，也就是咱们经常使用与最小二乘法的场景了。

1. 最小二乘法小结
2. 总结最小二乘法
3. 最小二乘法
4. 最小二乘解总结
更多相关文章...
• MySQL FLOAT、DOUBLE、DECIMAL（小数类型） - MySQL教程
• Rust 结构体 - RUST 教程
• 算法总结-二分查找法
• 算法总结-回溯法