机器学习中的矩阵方法03：QR 分解

 

1. QR 分解的形式

QR 分解是把矩阵分解成一个正交矩阵与一个上三角矩阵的积。QR 分解常常用来解线性最小二乘法问题。QR 分解也是特定特征值算法即QR算法的基础。用图能够将分解形象地表示成：

其中， Q 是一个标准正交方阵， R 是上三角矩阵。

 

2. QR 分解的求解

QR 分解的实际计算有不少方法，例如 Givens 旋转、Householder 变换，以及 Gram-Schmidt 正交化等等。每一种方法都有其优势和不足。上一篇博客介绍了 Givens 旋转和 Householder 变换， 第三种方法线性代数课程里面已经很是常见。下面用 Householder 变换的方法推导中间的过程。

假设 A 是一个 5×4 的矩阵，用 × 号表示本次变换未变化的元素，用 + 号表示本次发生变换的元素， H 矩阵等效于对右侧的 A 矩阵进行行操做：

四次变换以后, A 就转化成一个上三角矩阵。而且若是 A 是列向量不相关，则 R 矩阵是非奇异矩阵。

因为 H1, H2, H3, H4 都是标准化正交矩阵，那么 QT 也是标准正交矩阵。

根据矩阵相乘的性质，因为 R 下面都是 0 元素，所以，能够将 Q 矩阵对应分解成 Q1 和 Q2 两个部分，后面乘以 0 向量的部分能够省略，这就是 thin QR 分解：

上式中 R 的列向量能够看作是以 Q1 列向量为基的子空间的坐标。

 

3. 用 QR 解决最小二乘法

这个系列的第一篇博客就用 Normal equations 的方法解决了最小二乘的问题，具体来讲使用了“伪逆”，可是这种作法存在缺陷，好比计算量大和浮点数运算中 roundoff 的问题。如今咱们尝试用 QR 的方法来试一试。对于一个 OverDeterminded 的矩阵 A， 最小二乘的问题能够归结为：

将 A 进行 QR 分解，很容易能够推导出目标函数（残差的平方）：

 

其中， 

后面一项是硬伤，没有办法优化，令前面一项等于 0, 能够获得最小二乘法的 solution:

并且有一个好处是，用 Householder 变换获得的 P1, P2, P3...等，咱们彻底没有必要把用 Q = P1P2P3 显性地求出来，而是将 b 向量添加到 A 矩阵右侧, 与 A 一块儿作 Householder 变换便可：

另一个福利是：因为 Householder 变换和平面旋转变换对于浮点运算的 rounding error 问题有优良的性质，QR 分解方法比 Normal equations 的条件数更小, 某些问题的 solution 也更加精确。

 

4. 更新最小二乘的解集

在一些应用里面，系统要求咱们实时更新解集，可是样本数据是逐渐产生的，也就是说矩阵 A 和向量 b 是逐渐变长的，如何在已有的解集上进行更新？

问题能够描述以下：假设如今已经将产生的数据进行了 QR 分解，新产生的数据是 a 和 beta，

因为中间的 Q_2^T b 对于运算没有做用，咱们暂且将它扔掉，用 × 表示不变的元素，用 + 表示变化的元素，咱们的主要思路是用 Givens 旋转操做（上一篇博客有介绍，实际上 Householder 变换和 Givens 旋转都是左乘一个标准化的正交矩阵，在这里是等效的），先对第 1 行和第 n+1 行进行旋转，而后对第 2 行和地 n+1 行进行旋转... 一步一步求出更新后的 R 和 Q1b：

第一行和第 n+1 行进行旋转：

第二行和第 n+1 行进行旋转：

依次进行，直到：

最终获得解集。