向量空间基础知识摘记

Vector Space基础知识摘记

• 1. 矩阵 $A$的列空间(Column space)
• 2. 矩阵 $A$的零空间(Nullspace)
• 3. 矩阵 $A$的行空间(Row space)
• 4. 转置矩阵 $A^T$的零空间(Left nullspace)
• 5. 空间之间的联系
• 5.1 空间维度与矩阵的秩
• 5.2 正交性
• 5.3 举例

$\qquad$本文内容取自于《Introduction to Linear Algebra(Gilbert Strang)》第3章和第4章，做为理解奇异值分解的基础知识。

1. 矩阵 $A$的列空间(Column space)

$\qquad$考虑线性方程组 $A\boldsymbol x=\boldsymbol b$

$\qquad$其中， $A_{m\times n}=[\ \boldsymbol p_1,\boldsymbol p_2,\cdots,\boldsymbol p_n\ ],\ \boldsymbol p_i\in R^m$ 为 $m\times 1$ 列向量
$\qquad$　　　 $\boldsymbol x\in R^n$， $\boldsymbol b\in R^m$

$\qquad$矩阵 $A$ 的列空间 $C(A)$，是由 $A$ 中列向量 $\boldsymbol p_1,\boldsymbol p_2,\cdots,\boldsymbol p_n$ 的全部线性组合 $(all\ combinations)$ 所组成的空间。或者说，列空间是由向量 $\boldsymbol p_1,\boldsymbol p_2,\cdots,\boldsymbol p_n$ 张成 $(span)$的空间 。

$\qquad$因为 $\boldsymbol p_i\in R^m$ 是 $m$ 维列向量，列空间 $C(A)\subseteq R^m$

$\qquad$以求解线性方程组 $A\boldsymbol x=\boldsymbol b$为例：
$\qquad$

图1
若是右端向量 $\boldsymbol b\in C(A)$，线性方程组 $A\boldsymbol x=\boldsymbol b$ 有解；
若是右端向量 $\boldsymbol b\notin C(A)$，线性方程组 $A\boldsymbol x=\boldsymbol b$ 无解，只能取近似解（例如最小二乘解）
　
图片取自于《Introduction to Linear Algebra(Gilbert Strang)》Fig 3.2

$\qquad$

2. 矩阵 $A$的零空间(Nullspace)

$\qquad$考虑线性方程组 $A\boldsymbol x=\boldsymbol 0$

$\qquad$其中， $A_{m\times n}$， $\boldsymbol x\in R^n$

$\qquad$矩阵 $A$ 的零空间 $N(A)$，是由知足线性方程组 $A\boldsymbol x=\boldsymbol 0$ 的全部 $\boldsymbol x$ 所组成的空间。

$\qquad$因为 $\boldsymbol x\in R^n$ 是 $n$ 维列向量，零空间 $N(A)\subseteq R^n$

$\qquad$

3. 矩阵 $A$的行空间(Row space)

$\qquad$考虑线性方程组 $A\boldsymbol x=\boldsymbol b$
$\qquad$其中， $A_{m\times n}=\left[\begin{matrix}\boldsymbol q_1\\ \boldsymbol q_2\\ \vdots \\ \boldsymbol q_m\end{matrix}\right],\ \boldsymbol q_i^T\in R^n$，即： $\boldsymbol q_i$ 为 $1\times n$ 行向量

$\qquad$　　　 $\boldsymbol x\in R^n$， $\boldsymbol b\in R^m$

$\qquad$将矩阵 $A$ 进行转置，那么 $A^T=[\ \boldsymbol q_1^T,\boldsymbol q_2^T,\cdots,\boldsymbol q_m^T\ ]_{n\times m}$，其中 $\boldsymbol q_i^T\in R^n$

$\qquad$矩阵 $A$ 的行空间其实是 $A^T$ 中的列空间 $C(A^T)$ ，是由 $A^T$ 中列向量 $\boldsymbol q_1^T,\boldsymbol q_2^T,\cdots,\boldsymbol q_m^T$ 的全部线性组合 $(all\ combinations)$ 所组成的空间。

$\qquad$因为 $A^T$ 中的列向量 $\boldsymbol q_i^T\in R^n$ 是 $n$ 维列向量，行空间 $C(A^T)\subseteq R^n$

$\qquad$

4. 转置矩阵 $A^T$的零空间(Left nullspace)

$\qquad$考虑线性方程组 $A^T\boldsymbol y=\boldsymbol 0$

$\qquad$其中， $A_{m\times n}\rightarrow A^T$ 为 $n\times m$， $\boldsymbol y\in R^m$

$\qquad$矩阵 $A^T$ 的零空间 $N(A^T)$ 就是 $left\ nullspace$，是由知足线性方程组 $A^T\boldsymbol y=\boldsymbol 0$ 的全部 $\boldsymbol y$ 所组成的空间。

之因此称为左零空间，是由于： $A^T\boldsymbol y=\boldsymbol 0\longrightarrow\boldsymbol y^TA=\boldsymbol 0^T$，向量 $\boldsymbol y$ 移到了 $A$ 的左边。

$\qquad$因为 $\boldsymbol y\in R^m$ 是 $m$ 维列向量，左零空间 $N(A^T)\subseteq R^m$
$\qquad$

5. 空间之间的联系

5.1 空间维度与矩阵的秩

$\qquad$考虑子空间的维度 $(dimension)$ 与矩阵的秩 $(rank)$ 之间的关系：
$\qquad(1)$ 矩阵的秩 $(rank)$ 是矩阵主元 $(pivot)$ 的个数
$\qquad(2)$ 子空间的维度 $(dimension)$ 是该空间基向量 $(basis\ vector)$ 的个数

$\qquad$假设矩阵 $A_{m\times n}$ 的秩为 $r\le\min(m,n)$，能够构造出 $4$ 种子空间：列空间 $C(A)$、零空间 $N(A)$、行空间 $C(A^T)$、左零空间 $N(A^T)$，那么：

• 列空间 $C(A)$ 和行空间 $C(A^T)$ 的维度都是 $r$

$\qquad$因为矩阵 $A$ 的秩为 $r$，矩阵 $A$ 能够经过初等行、列变换，化简为一个包含 $r$ 阶单位阵的形式。也就是说，不管是从行向量、仍是从列向量来看，线性无关的(行或列)向量的个数都是 $r$。

$\qquad$以一个矩阵 $A_{3\times 5}$ 为例，主元 $(pivot)$能够有多种选择：

$\qquad\quad\begin{matrix}m=3\\n=5\\r=2\end{matrix}\qquad A=\left[\begin{matrix}\fbox1&3&5&0&7\\0&0&0&\fbox1&2\\0&0&0&0&0\end{matrix}\right]\begin{matrix}\leftarrow\\ \leftarrow\\ \\\end{matrix}\begin{matrix}pivot\ rows\ 1\ and\ 2\\ \\\ \ \ \ \ \ pivot\ columns\ 1\ and\ 4\end{matrix}$
$\qquad \qquad\qquad\qquad\qquad\ \ \ \uparrow\qquad\quad　\uparrow \newline$
$\qquad$显然，不管从行向量、仍是从列向量看，线性无关的(行或列)向量的个数都是 $2$，并且第1列和第4列构成了列空间 $C(A)$的基向量，第1行和第2行构成了行空间 $C(A^T)$的基向量。

• 零空间 $N(A)$ 的维度 $n-r$

$\qquad$仍然以矩阵 $A$ 为例，求解 $A\boldsymbol x=0$，当选择 $x_1,x_4$ 为主元 $(pivot)$变量时，剩下的 $x_2,x_3,x_5$ 就为自由 $(free)$变量（没有 $pivot$ 在这三列，设定其中一个为 $1$，其他为 $0$），可获得零空间 $N(A)$ 的 $3$ 个线性无关的基向量为：

$\qquad\qquad \boldsymbol s_2=\left[ \begin{matrix} -3\\ \fbox1 \\ \fbox0\\ 0\\ \fbox0 \end{matrix} \right],\boldsymbol s_3=\left[ \begin{matrix} -5\\ \fbox0\\ \fbox1\\0\\ \fbox0 \end{matrix} \right],\boldsymbol s_5=\left[ \begin{matrix} -7\\ \fbox0\\ \fbox0\\-2\\ \fbox1 \end{matrix} \right]$

$\qquad$此时，矩阵 $A$ 的零空间为： $N(A)=\{\boldsymbol x| \boldsymbol x=x_2\boldsymbol s_2+x_3\boldsymbol s_3+x_5\boldsymbol s_5 \}$

$\qquad$归纳起来，因为主元 $(pivot)$变量的个数为秩 $r$，那么 $\boldsymbol x\in R^n$ 中剩下的自由 $(free)$变量个数就为 $n-r$，这个 $n-r$ 个自由 $(free)$变量构成了零空间 $N(A)$ 的（线性无关的）基向量。

• 左零空间 $N(A^T)$ 的维度为 $m-r$

$\qquad\qquad\qquad A^T=\left[\begin{matrix}1&0&0\\3&0&0\\5&0&0\\0&1&0\\7&2&0\end{matrix}\right]\begin{matrix}pivot\ rows\ 1\ and\ 4\\ \\\ \ \ \ \ \ pivot\ columns\ 1\ and\ 2\end{matrix}$

$\qquad$仍然以矩阵 $A$ 为例，求解 $A^T\boldsymbol y=0$，当选择 $y_1,y_2$ 为主元 $(pivot)$变量时，剩下的 $y_3$ 就为自由 $(free)$变量（没有 $pivot$ 在这列，设定其值为 $1$），可获得零空间 $N(A^T)$ 的基向量为： $\boldsymbol s_3=[0,0,1]^T$

$\qquad$此时，矩阵 $A^T$ 的零空间为： $N(A^T)=\{\boldsymbol y| \boldsymbol y=y_3\boldsymbol s_3 \}$，也就是 $N(A^T)=[0,0,y_3]^T$

$\qquad$归纳起来，因为主元 $(pivot)$变量的个数为秩 $r$，那么 $\boldsymbol y\in R^m$ 中剩下的自由 $(free)$变量个数就为 $m-r$，这个 $m-r$ 个自由 $(free)$变量构成了零空间 $N(A^T)$ 的（线性无关的）基向量。

图2 图片取自于《Introduction to Linear Algebra(Gilbert Strang)》Fig 3.5

5.2 正交性

结论1 行空间 $C(A^T)$ 与零空间 $N(A)$ 正交，即： $C(A^T)\bot N(A)$
　　　　零空间 $N(A)$ 是行空间 $C(A^T)$ 在 $R^m$ 中的正交补
$\qquad$
$\qquad\qquad A\boldsymbol x=\left[\begin{matrix} & \text{row}\ 1 & \\ & \vdots & \\ & \text{row}\ i & \\ & \vdots & \\ & \text{row} \ m&\end{matrix}\right]\left[\begin{matrix} \\ \boldsymbol x\\ \\ \end{matrix}\right]=\left[\begin{matrix} 0\\ \vdots\\ 0\\ \vdots \\ 0 \end{matrix}\right]\qquad\begin{matrix} \longleftarrow & (\text{row}\ 1)\cdot\boldsymbol x=0\\ \\ \longleftarrow & (\text{row}\ i)\cdot\boldsymbol x=0 \\ \\ \longleftarrow & (\text{row}\ m)\cdot\boldsymbol x=0 \end{matrix}$

$\qquad$其中， $\text{row}\ i$ 是 $A_{m\times n}$ 中第 $i$ 行的 $1\times n$ 行向量。
$\qquad$显然， $A$ 中的每一行，与零空间 $N(A)$ 中的任一元素 $\boldsymbol x$ 正交。

$\qquad$
结论2 列空间 $C(A)$ 与左零空间 $N(A^T)$ 正交，即： $C(A)\bot N(A^T)$
　　　　左零空间 $N(A^T)$ 是列空间 $C(A)$ 在 $R^n$ 中的正交补
$\qquad$　　　　
$\qquad\qquad A^T\boldsymbol y=\left[\begin{matrix} & (\text{column}\ 1)^T & \\ & \vdots & \\ & (\text{column}\ i)^T & \\ & \vdots & \\ & (\text{column}\ n)^T &\end{matrix}\right]\left[\begin{matrix} \\ \boldsymbol y\\ \\ \end{matrix}\right]=\left[\begin{matrix} 0\\ \vdots\\ 0\\ \vdots \\ 0 \end{matrix}\right]\qquad\begin{matrix} \longleftarrow & (\text{column}\ 1)^T\cdot\boldsymbol y=0\\ \\ \longleftarrow & (\text{column}\ i)^T\cdot\boldsymbol y=0 \\ \\ \longleftarrow & (\text{column}\ n)^T\cdot\boldsymbol y=0 \end{matrix}$

$\qquad$其中， $\text{column}\ i$ 是 $A_{m\times n}$ 中第 $i$ 列的 $m\times 1$ 列向量。
$\qquad$显然， $A$ 中的每一列，与零空间 $N(A^T)$ 中的任一元素 $\boldsymbol y$ 正交。

图3图片取自于《Introduction to Linear Algebra(Gilbert Strang)》Fig 4.3

$\qquad$由图 $3$ 可知， $\forall\ \boldsymbol x\in R^n,\ \boldsymbol x=\boldsymbol x_r+\boldsymbol x_n$，也就是 $R^n$ 的任一贯量 $\boldsymbol x$ 能够分解为“行空间份量” $\boldsymbol x_r\in C(A^T)$ 和 “零空间份量” $\boldsymbol x_n\in N(A)$，知足 $\boldsymbol x_r\bot\boldsymbol x_n$。

$\qquad$显然，“零空间份量” $\boldsymbol x_n$ 知足 $A\boldsymbol x_n=0$
$\qquad$　　　“行空间份量” $\boldsymbol x_r$ 知足 $A\boldsymbol x=A\boldsymbol x_r=\boldsymbol b, \forall\ \boldsymbol b\in C(A)$

结论3 可获得如下结论：
$\qquad(1)$　每一个 $\boldsymbol x\in R^n$ 通过线性变换 $A_{m\times n}$ 以后，都会进入到矩阵 $A$ 的列空间 $C(A)\in R^m$
$\qquad(2)$　由 $A\boldsymbol x_r=\boldsymbol b$ 可知，矩阵 $A$ 的列空间 $C(A)$ 中的向量 $\boldsymbol b$，实际上来自于矩阵 $A$ 的行空间 $C(A^T)\in R^n$
$\qquad(3)$　对于每一个 $\boldsymbol b\in C(A)$，知足 $A\boldsymbol x_r=\boldsymbol b$ 所对应的“行空间份量” $\boldsymbol x_r$ 在行空间 $C(A^T)$中是惟一的

$\qquad$
结论4 对于一个秩为 $r$ 的矩阵 $A_{m\times n}$，有一个 $r\times r$ 的可逆方阵隐藏在其中，只要去掉图 $3$ 中的两个零空间 $N(A)$ 和 $N(A^T)$，也就是直接描述方程 $A\boldsymbol x_r=\boldsymbol b$ 。

$\qquad$以一个矩阵 $A_{3\times 5}$ 为例：

$\qquad\quad\begin{matrix}m=3\\n=5\\r=2\end{matrix}\qquad A=\left[\begin{matrix}3&0&0&0&0\\0&5&0&0&0\\0&0&0&0&0\end{matrix}\right]$　包含了子矩阵： $\hat A=\left[\begin{matrix}3&0\\0&5\end{matrix}\right]$

$\qquad$矩阵 $A$ 中、除子矩阵以外的其余 $11$ 个 $0$ 实际上构成了两个零空间。

$\qquad$

5.3 举例

结论4的整个示例过程

$\qquad$以矩阵 $A_{3\times 5}$ 为例：

$\qquad\quad\begin{matrix}m=3\\n=5\\r=2\end{matrix}\qquad A=\left[\begin{matrix}3&0&0&0&0\\0&5&0&0&0\\0&0&0&0&0\end{matrix}\right]$　包含了子矩阵： $\hat A=\left[\begin{matrix}3&0\\0&5\end{matrix}\right]$

$\qquad$从线性变换的角度来看：
$\qquad(1)$ 考虑线性变换 $A\boldsymbol x=\boldsymbol b$，矩阵 $A_{3\times 5}:R^5\rightarrow R^3$ 将一个向量 $\boldsymbol x\in R^5$ 变换成向量 $\boldsymbol b\in R^3$

$\qquad(2)$ 矩阵 $A_{3\times 5}$ 变换的结果，其实是由子变换 $\hat A:R^2\rightarrow R^2$ 完成，即：将一个“行空间份量”向量 $\boldsymbol x_r\in C(A^T)$（实际维度为 $R^2$） 变换成“列空间向量” $\hat\boldsymbol b\in C(A)$（实际维度为 $R^2$）

$\qquad\qquad A\boldsymbol x=A(\boldsymbol x_r+\boldsymbol x_n)=\boldsymbol b + \boldsymbol 0=\boldsymbol b$

$\qquad\quad$这说明了，矩阵 $A_{3\times 5}$ 将其（实际维度为 $3$ 的）零空间 $N(A)$ 中的全部向量都变换为 $\boldsymbol 0$；将其（实际维度为 $2$ 的）行空间 $C(A^T)$ 中的全部向量都变换到其（实际维度为 $2$ 的）列空间 $C(A)$ 中

$\qquad\quad$也就是说，矩阵 $A_{3\times 5}:R^5\rightarrow R^3$ 的变换过程，其实是会发生在子空间的变换 $\hat A:R^2\rightarrow R^2$

$\qquad(3)$ 矩阵 $A_{3\times 5}$ 变换相比子变换 $\hat A_{2\times2}$ 多出来的许多零，都是两个零空间的做用

• 首先，考虑 $\boldsymbol x\in R^n$

$\qquad\quad A\boldsymbol x=\left[\begin{matrix}3&0&0&0&0\\0&5&0&0&0\\0&0&0&0&0\end{matrix}\right]\left[\begin{matrix}x_1\\x_2\\x_3\\x_4\\x_5\end{matrix} \right]=\boldsymbol 0$　 $\Longrightarrow\ \boldsymbol s_3=\left[ \begin{matrix}0\\0\\1\\0\\0\end{matrix} \right],\boldsymbol s_4=\left[ \begin{matrix}0\\0\\0\\1\\0\end{matrix} \right],\boldsymbol s_5=\left[ \begin{matrix}0\\0\\0\\0\\1\end{matrix} \right]$

$\qquad\qquad\qquad\qquad\qquad\qquad\qquad\quad\qquad\quad\ \ \ \Longrightarrow$ 零空间 $\ N(A)=\left\{\boldsymbol x_n=\left[ \begin{matrix}0\\0\\x_3\\x_4\\x_5\end{matrix} \right]\right\}$，其实是 $R^3$

$\qquad\quad$行空间 $C(A^T)=\left\{\boldsymbol x_r=\left[ \begin{matrix}3x_1\\5x_2\\0\\0\\0\end{matrix} \right]=\left[ \begin{matrix}x_1^{'}\\x_2^{'}\\0\\0\\0\end{matrix} \right],x_1,x_2\in R\right\}$，其实是 $R^2$

$\qquad\quad$显然， $\boldsymbol x_r\bot\boldsymbol x_n$，并且 $C(A^T)\cup N(A)=R^5\ (n=5)$

$\qquad\quad$所以，线性方程组 $A\boldsymbol x=A\left[\begin{matrix}x_1\\x_2\\x_3\\x_4\\x_5\end{matrix} \right]=A(\boldsymbol x_r+\boldsymbol x_n)=A\left(\left[\begin{matrix}x_1\\x_2\\0\\0\\0\end{matrix} \right]+\left[\begin{matrix}0\\0\\x_3\\x_4\\x_5\end{matrix} \right]\right)=\boldsymbol b$

$\qquad\quad$其实是： $A\boldsymbol x_r=\left[\begin{matrix}3&0&0&0&0\\0&5&0&0&0\\0&0&0&0&0\end{matrix}\right]\left[\begin{matrix}x_1\\x_2\\0\\0\\0\end{matrix} \right]=\boldsymbol b$

$\qquad\quad$去掉 $\boldsymbol x_r\in R^n$ 中的 $3$ 个无效维度，保留 $2$ 个有效维度，那么矩阵 $A$ 中保留下来的 $2\times 2$ 子矩阵就是 $\hat A$。所以， $A_{3\times 5}\boldsymbol x_r$ 实际上就是 $\hat A_{2\times 2}\left[\begin{matrix}x_1\\x_2\end{matrix} \right]$

• 另外一方面，考虑 $\boldsymbol b\in R^m$

$\qquad\quad A^T\boldsymbol y=\left[\begin{matrix}3&0&0\\0&5&0\\0&0&0\\0&0&0\\0&0&0\end{matrix}\right]\left[\begin{matrix}y_1\\y_2\\y_3\end{matrix} \right]=\boldsymbol 0$　 $\Longrightarrow\ \boldsymbol s_3=\left[ \begin{matrix}0\\0\\1\end{matrix} \right]$

$\qquad\qquad\qquad\qquad\qquad\qquad\quad\qquad\quad\ \Longrightarrow$ 左零空间 $N(A^T)=\left\{\boldsymbol y=\left[ \begin{matrix}0\\0\\y_3\end{matrix} \right],y_3\in R\right\}$，即 $R^1$

$\qquad\quad$而列空间 $C(A)=\left\{\boldsymbol y=\left[ \begin{matrix}3x_1\\5x_2\\0\end{matrix} \right]=\left[ \begin{matrix}x_1^{'}\\x_2^{'}\\0\end{matrix} \right],x_1,x_2\in R\right\}$，即 $R^2$

$\qquad\quad$显然， $C(A)\cup N(A^T)=R^3\ (m=3)$

$\qquad\quad$去掉 $\boldsymbol b\in R^m$ 中的 $1$ 个无效维度，保留 $2$ 个有效维度：向量 $\boldsymbol b$ 实际上就是 $\hat\boldsymbol b=\left[\begin{matrix}b_1\\b_2\end{matrix} \right]$

• 去掉两个子空间 $N(A)$ 和 $N(A^T)$ 以后，也就是： $\hat A\left[\begin{matrix}x_1\\x_2\end{matrix} \right]=\hat\boldsymbol b=\left[\begin{matrix}b_1\\b_2\end{matrix} \right]$

$\qquad\quad$这就说明了，线性变换 $A_{3\times 5}\boldsymbol x=\boldsymbol b$的结果，其实是由子变换 $\hat A:R^2\rightarrow R^2$ 完成