线性代数

时间 2020-06-09

标签线性代数繁體版

原文原文链接

线性方程组

咱们将要学的：A system of linear equations (多元一次聯立方程式)

因为本课程中m,n都很大，所以要采用与高中解方程组不一样的视角，如：

是否有解
是否有惟一解
怎样找到解
行列式（Determinants）

线性方程组与线性系统

线性方程组（system of linear equations ）的做用为描述一个线性系统（linear system）

线性系统（linear system）的两个特性：

Persevering Multiplication

Persevering Addition

eg.

：非线性系统

：线性系统

Linear system v.s System of Linear Equations

因为线性方程组知足线性系统的两个特性，故线性方程租能够当作一个线性系统

对于一个以下的线性系统

可经过Multiplication和Addition转换为线性方程租

即线性系统与线性方程租等价

线性系统的应用

大多数电路系统为线性系统

机器学习

通常用于分析的系统都是线性的，固然行情变化是非线性的，因此deep model（非线性）效果更好，但也更难训练

设计滤波器

经过特征值（Ei）与特征向量能够设计特定输出的线性系统

图像压缩

向量（Vectors）

向量的第i个元素为v _i，v ₁=1, v ₂=2, v ₃=3

零向量

标准向量

向量集

包含n个元素的向量集为

R ⁿ

矩阵（Matrix）

标记规则：先 Row 再 Column

零矩阵

单位矩阵（Identity matrix）

矩阵转置

AT中第(i,j)个元素为A中第(j,i)个元素

矩阵与向量

矩阵A _m*n与向量x相乘结果为m维向量。可经过行角度和列角度理解：

eg.

A and B 都是mxn矩阵. 若是对于R ⁿ中全部w，都有Aw = Bw. 那么A=B?

由于

则

线性组合（Linear Combination）

“Ax = b 是否有解” 能够转化为 “b是不是A中各列的线性组合”

线性空间（Span）
给定一组向量集合

，Span A定义为其中各向量的全部线性组合，即

“Ax = b 是否有解”能够转化为 “b是否 ∈ Span A”

【总结】

对于

线性相关（Linear Dependent）

定义：给定一组向量集{a1, a2,..., an} ，若其中存在任一贯量ai可由其余向量线性组合，则称该向量集线性相关

等价为以下

向量集{a1, a2,..., an} 线性相关：Ax = 0存在非零解

向量集{a1, a2,..., an} 线性独立：Ax = 0只有零解

对于线性相关的向量集{a1, a2,..., an} / Ax = 0存在非零解 → 方程Ax=b只要有解，必有无穷多解

线性相关法证实：

齐次方程（Homogeneous Equations）Ax=0证实：

秩（Rank）

定义：矩阵中线性独立列的最大值

Nullity = Number of columns - rank

对于Am*n

【总结】

解线性方程方法

抽象为线性系统即为

其中A'=[A b]称为增广阵（augmented matrix）

R=[R' b']为简化行阶梯矩阵（reduced row echelon form，RREF）

矩阵是行阶梯型
含先导元素（leading entries）的列（pivot column）是标准向量

A'→R的变换称为基础行变换（elementary row operations）

矩阵行交换
矩阵行倍乘
行倍乘后加至另外一行

初始矩阵 v.s. RREF

列：关系不变、span 变化（即Col A≠Col R）

行：关系变化、span 不变（即Row A=Row R）

秩（Rank）

最大独立列的个数 = 主元列（Pivot Col）个数 = 非零行个数

由上可得，Rank A ≤ Min（列数，行数）

RREF与解的关系

对于瘦长型矩阵

若 Rank R = col A

无解：Rank R < Rank R'

惟一解：Rank R = Rank R'

若 Rank R ＜ col A

无穷多解

对于扁平型矩阵

无解：Rank R < Rank R'

无穷多解：m = n 且 Rank R = Rank R'

惟一解：m < n 且 Rank R = Rank R'

矩阵相乘的两个观点

内积

列的线性组合

AB = A[b ₁ b ₂ ... b _p] = [Ab ₁ Ab ₂ ... Ab _p]

基础行变换与矩阵乘积

1. 互换

2. 缩放

3. 倍乘第i行、加至第j行

eg. A为m*n矩阵，其RREF为R，即

可逆

A为n*n矩阵，当且仅当如下条件成立时，A是可逆的：

A的列张成(span)Rⁿ
对全部b∈Rⁿ, Ax=b都有解
A的秩为n
A的列相互独立
Ax=0 只有零解
A的nullity为0
A的RREF为I_n

A是基础矩阵的乘积

存在B_n*n使得BA = I_n
存在C_n*n使得AC = I_n

求解逆矩阵

对于A _n*n，将[A I _n]进行基础行变换，转化为[I _n B]，则A ^-1 =B

行列式（Determinants）

行列式的性质

det(I) = 1
交换行改变det正负
行列式对每行都是线性

a：
b：
c（由a，b获得）：

det(AB) = det(A)det(B)

a：det(A^-1) = 1/det(A)
b：det(A²) = det(A)²

det(A^T) = det(A)

行列式计算

选择某行

或者某列

其中cij为代数余子式（cofactor）

克拉默法则（Cramer's Rule）

C为A的代数余子阵，C ^T为A的伴随矩阵（adj A）

证实：

AC ^T = det(A)I _n

【注】A中row i与row j的代数余子式乘积为0，至关于A中row i与row j相同

子空间（Subspace）

一组知足如下条件的向量集V：

0向量 ∈ V

若是 u，w ∈ V，则 u+w ∈ V

若是 u ∈ V，则c u ∈ V

零空间（Null Space）

定义：Null A={ v∈R ⁿ：A v= 0 }

列空间（Column Space）

Col A={ A v： v∈R ⁿ}

Row A=Col A ^T

基（Basis）

定义：基为子空间V的一个线性独立生成集

举例：矩阵列空间Col A的基为其先导列

【释】先导列相互独立；且其可生成Col A

基的性质

基是最小的生成集（generation set）

若是S为子空间V的生成集

Subspace V = Span S = Col S，即Col S的基与Subspace V相同，然而S的基为S的先导列（S的Subset），可参见上例

则V的基必定≤S的向量个数，即S可经过删去某些向量转化为V的基

基是子空间中最大的独立向量个数

子空间中的任何两个基包含相同个数的向量（即为子空间V的维度dim V）

此处证实较为抽象故省略，创建这种直觉便可

证实向量集S为子空间V的基

定义：基S为子空间V的一个线性独立生成集

线性独立：作RREF便可判断

生成集：已知dim V = k（经过RREF判断），而S是V的子集且含k个向量

eg.判断B是否为V的基。

知足如下两个条件，故B是V的基

B中各向量独立
dim V = 3，B∈V且含有3个向量

	维度	基
Col A	Rank A	A的先导列
Null A	Nullity A =n-Rank A	Ax = 0的解向量
Row A	Rank A	A的RREF中非零行

当知足如下条件时，一组向量集B可做为R ⁿ的坐标系

B中各向量独立
B中各向量张成Rⁿ

坐标系B={u1,u2,...,un}为Rn空间的基

坐标系转换

其余系统↔笛卡尔坐标系

14机器学习

机器学习学习

15spa

秩的更多性质

已知A _m×n、B _n×k，则Rank(AB) ≤ min(Rank(A), Rank(B))

证实

即证实如下两条同时成立

a. Rank(AB) ≤ Rank(A)

b. Rank(AB) ≤ Rank(B)

先证(a)

对可逆矩阵Q _m×m，QA = R（RREF），因可逆矩阵是基础矩阵的乘积，初等行变换不会改变行空间，

即行空间的维度不会变化，即Rank不变，故有Rank(QA) = Rank(A)

Rank(AB) = Rank(QAB) = Rank(RB)

Rank(A) = Rank(PA) = Rank(R)

R中非零行即为Rank(R)，而RB的非零行≤R中非零行，即Rank(RB) ≤ Rank(R)，故有Rank(AB) ≤ Rank(A).net

将(AB)^T带入上式，可得Rank(AB) ≤ Rank(B)，综上则有Rank(AB) ≤ min(Rank(A), Rank(B))设计

其余性质（证实省略）3d

若Rank(B) = n → Rank(AB) = Rank(A)
若Rank(A) = n → Rank(AB) = Rank(B)
Rank(A+B) ≤ Rank(A) + Rank(B)

行列式的更多性质

交换行会改变行列式的正负

对每行来讲，行列式是线性的

det(AB) = det(A)det(B)
det(A) = det(A^T)
code

Av = λv（λ为特征值，v为特征向量【非零】）

可认为T(v) = Av，即对向量v的线性变换

即求解(A - λI _n)v = 0

即λ对应的特征向量为Null(A - λI _n)，又称为λ的特征空间（eigenspace of λ）

判断λ是否为A的特征值？

即判断λ的特征空间尺寸，若为0 → 特征空间仅含{0} → 没有特征向量 → λ不是特征值

18 特征多项式

值t为方阵A的特征值

↔ 存在v ≠ 0 使得(A-tIn)v = 0  
  ↔ (A-tIn)v = 0有多解 
  ↔  (A-tIn)的列线性相关
  ↔ Rank(A-tIn) < n
  ↔ (A-tIn)不可逆

↔ det(A-tI_n) = 0

特征多项式性质
类似矩阵有相同的特征多项式，即相同的特征值
证实以下

A_n×n的特征多项式次数为n
n个特征值（包含重根）之和 = A的迹
n个特征值（包含重根）之积 = A的行列式
（上下）三角阵的特征值为其对角元素

特征多项式与特征空间

19 对角化orm

若A可对角化，即A = PDP-1
则AP = PD，即[ Ap₁ ··· Ap_n ] = [ d₁p₁··· d_np_n ]
pi即为A的特征向量，对应特征值为di

20 线性变换的对角化
矩阵A可对角化条件
A的特征向量可组成Rⁿ维基，即各特征向量相互独立

以下图，[T]_B为B坐标系下的线性变换矩阵，找到合适的坐标系B能够获得较为简单的变换矩阵[T]_B

21 正交化
范数Norm：

点乘：

22 正交投影
非零向量集S的正交补（Orthogonal Complement）记为S^⊥，S^⊥垂直于S中的每个向量
S^⊥ = { ν ：v·u = 0 , all u ∈ S }
(Row A)^⊥ = Null A
【释】A = Span{a₁ , a₂}，当且仅当a₁·v = a₂·v = 0时，v ∈ A^⊥即A^⊥为“ Av = 0 ”的解，即为Null A
【注】
对Rⁿ的任何子空间W，dimW + dimW^⊥ = n
rank nullity
eg.W = Span{w₁ , w₂}，w₁ = [1 1 -1 4]^T，w₂ = [1 -1 1 2]^T；W⊥ = Span{μ₁ , μ₂}，w1 = [1 1 -1 4]T，w2 = [1 -1 1 2]Tblog