最小二乘法小结

　　　　最小二乘法是用来作函数拟合或者求函数极值的方法。在机器学习，尤为是回归模型中，常常能够看到最小二乘法的身影，这里就对我对最小二乘法的认知作一个小结。

1.最小二乘法的原理与要解决的问题　

　　　　最小二乘法是由勒让德在19世纪发现的，原理的通常形式很简单，固然发现的过程是很是艰难的。形式以下式：$$目标函数 = \sum\limits（观测值-理论值）^2$$

　　　　观测值就是咱们的多组样本，理论值就是咱们的假设拟合函数。目标函数也就是在机器学习中常说的损失函数，咱们的目标是获得使目标函数最小化时候的拟合函数的模型。举一个最简单的线性回归的简单例子，好比咱们有m个只有一个特征的样本：

　　　　\((x^{(1)},y^{(1)}), (x^{(2)},y^{(2)},...(x^{(m)},y^{(m)})\)

　　　　样本采用下面的拟合函数：

　　　　\(h_\theta(x) = \theta_0 + \theta_1 x\)

　　　　这样咱们的样本有一个特征x，对应的拟合函数有两个参数\(\theta_0 和 \theta_1\)须要求出。

　　　　咱们的目标函数为：

　　　　\(J(\theta_0, \theta_1) = \sum\limits_{i=1}^{m}(y^{(i)} - h_\theta(x^{(i)})^2 = \sum\limits_{i=1}^{m}(y^{(i)} -  \theta_0 - \theta_1 x^{(i)})^2 \)　

　　　　用最小二乘法作什么呢，使\(J(\theta_0, \theta_1)\)最小，求出使\(J(\theta_0, \theta_1)\)最小时的\(\theta_0 和 \theta_1\)，这样拟合函数就得出了。

　　　　那么，最小二乘法怎么才能使\(J(\theta_0, \theta_1)\)最小呢？

2.最小二乘法的代数法解法

　　　　上面提到要使\(J(\theta_0, \theta_1)\)最小，方法就是对\(\theta_0 和 \theta_1\)分别来求偏导数，令偏导数为0，获得一个关于\(\theta_0 和 \theta_1\)的二元方程组。求解这个二元方程组，就能够获得\(\theta_0 和 \theta_1\)的值。下面咱们具体看看过程。

　　　　\(J(\theta_0, \theta_1)对\theta_0\)求导，获得以下方程：

　　　　\(\sum\limits_{i=1}^{m}(y^{(i)} -  \theta_0 - \theta_1 x^{(i)}) = 0 \)                                  ①

　　　　\(J(\theta_0, \theta_1)对\theta_1\)求导，获得以下方程：

　　　　\(\sum\limits_{i=1}^{m}(y^{(i)} -  \theta_0 - \theta_1 x^{(i)})x^{(i)} = 0 \)　　　　　　　　 ②

　　　　①和②组成一个二元一次方程组，容易求出\(\theta_0 和 \theta_1\)的值：

　　　　

　　　　\(\theta_0 = \sum\limits_{i=1}^{m}\big(x^{(i)})^2\sum\limits_{i=1}^{m}y^{(i)} - \sum\limits_{i=1}^{m}x^{(i)}\sum\limits_{i=1}^{m}x^{(i)}y^{(i)} \Bigg/ m\sum\limits_{i=1}^{m}\big(x^{(i)})^2 - \big(\sum\limits_{i=1}^{m}x^{(i)})^2\)

 

　　　　\(\theta_1 = m\sum\limits_{i=1}^{m}x^{(i)}y^{(i)} - \sum\limits_{i=1}^{m}x^{(i)}\sum\limits_{i=1}^{m}y^{(i)} \Bigg/ m\sum\limits_{i=1}^{m}\big(x^{(i)})^2 - \big(\sum\limits_{i=1}^{m}x^{(i)})^2\)

 

　　　　这个方法很容易推广到多个样本特征的线性拟合。

　　　　拟合函数表示为 \(h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1}x_1 + ... + \theta_{n}x_{n}\), 其中\(\theta_i \) (i = 0,1,2... n)为模型参数，\(x_i \) (i = 0,1,2... n)为每一个样本的n个特征值。这个表示能够简化，咱们增长一个特征\(x_0 = 1 \) ，这样拟合函数表示为：

　　　　\(h_\theta(x_0, x_1, ...x_n) = \sum\limits_{i=0}^{n}\theta_{i}x_{i}\)。

　　　　损失函数表示为：

           \(J(\theta_0, \theta_1..., \theta_n) = \sum\limits_{j=1}^{m}(h_\theta(x_0^{(j)}), x_1^{(j)}, ...x_n^{(j)})) - y^{(j)}))^2 = \sum\limits_{j=1}^{m}(\sum\limits_{i=0}^{n}\theta_{i}x_{i}^{(j)}- y^{(j)})^2 \)

　　　　利用损失函数分别对\(\theta_i\)(i=0,1,...n)求导,并令导数为0可得：

　　　　\(\sum\limits_{j=0}^{m}(\sum\limits_{i=0}^{n}(\theta_{i}x_{i}^{(j)} - y^{(j)})x_i^{(j)}\) = 0   (i=0,1,...n)

　　　　这样咱们获得一个N+1元一次方程组，这个方程组有N+1个方程，求解这个方程，就能够获得全部的N+1个未知的\(\theta\)。

　　　　

　　　　这个方法很容易推广到多个样本特征的非线性拟合。原理和上面的同样，都是用损失函数对各个参数求导取0，而后求解方程组获得参数值。这里就不累述了。

 

3.最小二乘法的矩阵法解法

　　　　矩阵法比代数法要简洁，且矩阵运算能够取代循环，因此如今不少书和机器学习库都是用的矩阵法来作最小二乘法。

　　　　这里用上面的多元线性回归例子来描述矩阵法解法。

　　　　

　　　　假设函数\(h_\theta(x_1, x_2, ...x_n) = \theta_0 + \theta_{1}x_1 + ... + \theta_{n-1}x_{n-1}\)的矩阵表达方式为：

　　　　　\(h_\mathbf{\theta}(\mathbf{x}) = \mathbf{X\theta}\) 

　　　　其中， 假设函数\(h_\mathbf{\theta}(\mathbf{X})\)为mx1的向量,\(\mathbf{\theta}\)为nx1的向量，里面有n个代数法的模型参数。\(\mathbf{X}\)为mxn维的矩阵。m表明样本的个数，n表明样本的特征数。

　　　　损失函数定义为\(J(\mathbf\theta) = \frac{1}{2}(\mathbf{X\theta} - \mathbf{Y})^T(\mathbf{X\theta} - \mathbf{Y})\)

　　　　其中\(\mathbf{Y}\)是样本的输出向量，维度为mx1. \(\frac{1}{2}\)在这主要是为了求导后系数为1，方便计算。

　　　　根据最小二乘法的原理，咱们要对这个损失函数对\(\mathbf{\theta}\)向量求导取0。结果以下式：

　　　　\(\frac{\partial}{\partial\mathbf\theta}J(\mathbf\theta) = \mathbf{X}^T(\mathbf{X\theta} - \mathbf{Y}) = 0 \)

　　　　这里面用到了矩阵求导链式法则，和两个个矩阵求导的公式。

　　　　　　公式1：\(\frac{\partial}{\partial\mathbf{x}}(\mathbf{x^Tx}) =2\mathbf{x}\;\;x为向量\)

　　　　　　公式2：\(\nabla_Xf(AX+B) = A^T\nabla_Yf,\;\; Y=AX+B,\;\;f(Y)为标量\)

　　　　对上述求导等式整理后可得：

　　　　\( \mathbf{X^{T}X\theta} = \mathbf{X^{T}Y} \)

　　　　两边同时左乘\((\mathbf{X^{T}X})^{-1}\)可得：

　　　　\( \mathbf{\theta} = (\mathbf{X^{T}X})^{-1}\mathbf{X^{T}Y} \)

　　　　这样咱们就一会儿求出了\(\theta\)向量表达式的公式，免去了代数法一个个去求导的麻烦。只要给了数据,咱们就能够用\( \mathbf{\theta} = (\mathbf{X^{T}X})^{-1}\mathbf{X^{T}Y} \)算出\(\theta\)。

 

4.最小二乘法的局限性和适用场景　　

　　　　从上面能够看出，最小二乘法适用简洁高效，比梯度降低这样的迭代法彷佛方便不少。可是这里咱们就聊聊最小二乘法的局限性。

　　　　首先，最小二乘法须要计算\(\mathbf{X^{T}X}\)的逆矩阵，有可能它的逆矩阵不存在，这样就没有办法直接用最小二乘法了，此时梯度降低法仍然可使用。固然，咱们能够经过对样本数据进行整理，去掉冗余特征。让\(\mathbf{X^{T}X}\)的行列式不为0，而后继续使用最小二乘法。

　　　　第二，当样本特征n很是的大的时候，计算\(\mathbf{X^{T}X}\)的逆矩阵是一个很是耗时的工做（nxn的矩阵求逆），甚至不可行。此时以梯度降低为表明的迭代法仍然可使用。那这个n到底多大就不适合最小二乘法呢？若是你没有不少的分布式大数据计算资源，建议超过10000个特征就用迭代法吧。或者经过主成分分析下降特征的维度后再用最小二乘法。

　　　　第三，若是拟合函数不是线性的，这时没法使用最小二乘法，须要经过一些技巧转化为线性才能使用，此时梯度降低仍然能够用。

　　　　第四，讲一些特殊状况。当样本量m不多，小于特征数n的时候，这时拟合方程是欠定的，经常使用的优化方法都没法去拟合数据。当样本量m等于特征数n的时候，用方程组求解就能够了。当m大于n时，拟合方程是超定的，也就是咱们经常使用与最小二乘法的场景了。

 

（欢迎转载，转载请注明出处。欢迎沟通交流： liujianping-ok@163.com）