4、分块消元与Schur补

消除部分变量
逆矩阵引理

消除部分变量

考虑Ax=b，将变量 $x \in R^n$ 分为凉快或两个子向量spa

$x=\begin{bmatrix} x_1 \\x_2\end{bmatrix},x_1 \in R^{n_1},x_2 \in R^{n_2}$

对线性方程组Ax=b作一样的划分，.net

$\begin{bmatrix} A_{11} & A_{12} \\ A_{21} & A_{22} \end{bmatrix} \begin{bmatrix} x_1 \\x_2\end{bmatrix}=\begin{bmatrix} b_1 \\ b_2 \end{bmatrix}$

其中 $A_{11}\in R^{n_1\times n_1},A_{22}\in R^{n_2 \times n_2}$ 3d

假设 $A_{11}$ 可逆，则按如下方式消去， $x_1=A_{11}^{-1}(b_1-A_{12}x_2)$ ，再将其代入第二个方程blog

获得ci

$A_{21}x_1+A_{22}x_2=b_2 \\ \Leftrightarrow A_{21}A_{11}^{-1}(b_1-A_{12}x_2)+A_{22}x_2=b_2 \\ \Leftrightarrow (A_{22}-A_{21}A_{11}^{-1}A_{12})x_2=b_2-A_{21}A_{11}^{-1}b_1$

其中 $S=A_{22}-A_{21}A_{11}^{-1}A_{12}$ 是矩阵A的第一个分块矩阵 $A_{11}$ 的Schur补。当且仅当A非奇异时，Schur补S是非奇异矩阵。get

经过分块消元求解线性方程组

给定非奇异线性方程组Ax=b，其中 $A_{11}$ 非奇异：同步

计算 $A_{11}^{-1}A_{12}$ 和 $A_{11}^{-1}b_1$
计算 $S=A_{22}-A_{21}A_{11}^{-1}A_{12}$ 和 $\hat{b}=b_2-A_{21}A_{11}^{-1}b_1$
求解 $Sx_2=\hat{b}$ 肯定
求解 $A_{11}x_1=b_1-A_{12}x_2$ 肯定

分块消元法的复杂度分析

f表示对 $A_{11}$ 进行因式分解的计算成本，s表示 $A_{11}$ 完成相应的求解步骤所须要的计算成本。博客

计算 $A_{11}^{-1}A_{12}$ 和 $A_{11}^{-1}b_1$ ，对 $A_{11}$ 进行因式分解，再加上求解两个乘法须要的次浮点运算，共须要
计算 $S=A_{22}-A_{21}A_{11}^{-1}A_{12}$ 和 $\hat{b}=b_2-A_{21}A_{11}^{-1}b_1$ ，计算 $A_{21}A_{11}^{-1}A_{12}$ 须要，再加上 $n_2 \times n_2$ 的矩阵减法，成本为，计算 $\hat{b}=b_2-A_{21}A_{11}^{-1}b_1$ 的成本不如计算S的成本阶次高，所以只需考虑计算S的成本。
求解 $Sx_2=\hat{b}$ 肯定，对该方程求解须要分解S，再求解，成本为。
求解 $A_{11}x_1=b_1-A_{12}x_2$ 肯定，计算 $b_1-A_{12}x_2$ 须要次浮点运算，求解方程组能够利用1中的 $A_{11}$ 的分解结果，于是秩序执行求解步骤，成本为s。

故总成本：class

无结构矩阵消元：此时 $A_{11}$ 的分解为LU分解，因而，，代入上式获得变量

对角矩阵消元：f=0，，代入获得

逆矩阵引理

考虑线性方程组 $(A+BC)x=b,A \in R^{n \times n},B \in R^{n \times p},C \in R^{p \times n}$ ，引入新的变量，写成：

$\begin{bmatrix} A &B \\ C&-I \end{bmatrix}\begin{bmatrix} x\\y \end{bmatrix}=\begin{bmatrix} b\\0 \end{bmatrix}$

应用块消元，从第一个方程中获得 $x=A^{-1}(b-By)$ ，再将x代入第二个方程获得

$Cx-y=0\\ CA^{-1}(b-By)=y \\ CA^{-1}b=(I+CA^{-1}B)y$

$\Leftrightarrow y=(I+CA^{-1}B)^{-1}CA^{-1}b$

$\Leftrightarrow x=A^{-1}(b-B(I+CA^{-1}B)^{-1}CA^{-1}b)\\ \Leftrightarrow x=(A^{-1}-A^{-1}B(I+CA^{-1}B)CA^{-1})b$

由于b是任意向量，有如下结论

$(A+BC)^{-1}=A^{-1}-A^{-1}B(I+CA^{-1}B)CA^{-1}$

这就是逆矩阵定理。

求解(A+BC)x=b的计算成本：

若是A是对角元素不等于零的对角矩阵，B，C 是稠密矩阵，

（１）计算D=A+BC须要次浮点运算，再对D进行LU分解，须要次浮点运算，总成本

（２）用逆矩阵引理求解，即先计算 $y=(I+CA^{-1}B)^{-1}CA^{-1}b$ ，计算 $z=A^{-1}b$ 须要n次浮点运算，计算 $E=I+CA^{-1}B$ 须要次浮点运算，再求y，须要次浮点运算，再计算 $x=A^{-1}(b-By)=A^{-1}b-A^{-1}By=a-A^{-1}By$ ，再求解ｘ须要2pn次浮点运算。

来源：https://blog.csdn.net/wangchy29/article/details/87917717

本文同步分享在博客“使君杭千秋”（CSDN）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。

凸优化有关的数值线性代数知识四：分块消元与Schur补

4、分块消元与Schur补

消除部分变量

经过分块消元求解线性方程组

分块消元法的复杂度分析

逆矩阵引理