【Math for ML】线性代数-单射,满射,双射,同构,同态,仿射

时间 2019-11-25

标签 Math for ML 线性代数单射满射双射同构同态仿射栏目应用数学繁體版

原文原文链接

I. 映射(Mapping)

1. 单射(Injective)

函数f 是单射当且仅当若f(x) = f(y) 则 x = y。html

例子： f(x) = x+5 从实数集$R$到$R$是个单射函数。web

这个函数很容易被还原：f(3) = 8，即已知 8 能够返回 3app

2. 满射(Surjective)

函数 f（从集 A 到集 B）是满射当且仅当在 B 中的每一个 y 存在至少一个在 A 中的 x 知足 f(x) = y，就是说， f 是满射当且仅当 f(A) = B。dom

值域里的每一个元素都至少有一个定义域元素与之对应。函数

例子：函数 f(x) = 2x 从天然数集$N$到非负偶数是个满射函数。spa

但 f(x) = 2x 从天然数集$N$到$N$不是满射，由于没有一个天然数$N$能够被这个函数映射到 3。orm

3. 双射(Bijective)

函数 f（从 A 集到 B 集）是双射，若每一个 B 中的 y 都有惟一的一个（而没有另一个） A 集中的 x 知足 f(x) = yhtm

或者说：当单射和满射都成立时，f 是双射。blog

例子：函数 $f(x) = x^2$ 从正实数到正实数是单射，也是满射，因此它是双射。rem

但从实数集$R$就不是，由于f(2)=4，而且f(-2)=4

II. 同态&同构

对于向量空间$V,W$,如有映射$\Phi :V→W$知足以下条件，则咱们称$\Phi$为线性映射(linear mapping)(或者向量空间同态(vector space Homomorphism) 或 linear transform):
\[\forall{x,y}∈V, \lambda,\psi∈R:\Phi(\lambda x+\psi y)=\lambda \Phi(x) + \psi \Phi(y)\]

基于上面已经介绍了的映射的概念，咱们如今能够更好地直观理解同态和同构的定义，它们分别以下：

$\Phi:V→W \,\,\, linear$: 同态 (Homomorphism)
- $\Phi:V→W \,\,\, linear \,\, and \,\, injective$: 单一同态 (Monomorphism)
- $\Phi:V→W \,\,\, linear \,\, and \,\, surjective$: 满同态 (Surjective Homomorphism)
- $\Phi:V→W \,\,\, linear \,\, and \,\, bijective$: 同构 (Isomorphism)
$\Phi:V→V \,\,\, linear$: 自同态 (Endomorphism)
- $\Phi:V→V \,\,\, linear \,\, and \,\, injective$: 单一自同态 (Monomorphic Endomorphism)
- $\Phi:V→V \,\,\, linear \,\, and \,\, surjective$: 满自同态 (Surjective Endomorphism)
- $\Phi:V→V \,\,\, linear \,\, and \,\, bijective$: 自同构 (Automorphism)

定理:两个维度是有限的向量空间$V,W$,当且仅当两者的维度相同,即$dim(V)=dim(W)$，$V,W$两者同构。

假设如今有三个向量空间分别为$V,W,X$,那么它们有以下性质：

若是有线性映射$\Phi:V→W$和$\Psi:W→X$,那么映射$\Phi◦\Psi:V→X$也是线性映射；
若是$\Phi:V→W$是同构(isomorphsim),那么$\Phi^{-1}:V→W$也是同构；
若是$\Phi:V→W,\Psi:V→W$都是线性映射，那么$\Psi+\Phi$和$\lambda\Phi,\lambda∈R$也都是线性的。

1. 线性映射的矩阵表示

坐标(Coordinates) 的定义：

假设向量空间$V$的顺序基(ordered bases)为$B=(b_1,...,b_n)$，那么$V$中任意一个向量$x$可由顺序基线性组合表示,即
$x=α_1b_1+...+α_nb_n$$。此时矢量$$\alpha=[α_1,...,α_n]^{T}∈R^n$则是$x$在向量空间$V$上以$B$为基的坐标。

变换矩阵(Transform Matrix) 的定义:

假设向量空间$V∈R^n,W∈R^m$的顺序基分别为$B=(b_1,...,b_n),C=(c_1,...,c_m)$。对于映射$\Psi:V→W$，有
\[\Phi(b_j)=α_{1j}c_1+...+α_{mj}c_m=\sum_{i=1}^mα_{ij}c_i\]
则咱们称$A_{\Phi}(i,j)=α_{ij}$为映射$\Phi$的变换矩阵。

因此向量空间$V$中的坐标矢量$x$与$W$中的坐标矢量$y$有以下变换关系:$y=A_{\Phi}x$

2. 基变换(Basis Change)

定义:

假设向量空间$V$的顺序基有两个，分别是$B=(b_1,...,b_n),\tilde{B}=(\tilde{b_1},...,\tilde{b_n})$，向量空间$W$也有两个顺序基，分别为$C=(c_1,...,c_n),\tilde{C}=(\tilde{c_1},...,\tilde{c_n})$。$A_{\Phi}$是映射$\Phi:V→W$关于顺序基$B,C$的变换矩阵,$\tilde{A_{\Phi}}$是映射$\Phi:V→W$关于顺序基$\tilde{B},\tilde{C}$的变换矩阵,两个变换矩阵的关系以下:
\[\tilde{A_{\Phi}}$=T^{-1}A_{\Phi}S\]
其中$S∈R^{n×n}$表示向量空间$V$从基$\tilde{B}$到基$B$的恒等映射$id_V$的变换矩阵,$T∈R^{m×m}$表示向量空间$W$基于基$\tilde{C}$到基$C$的恒等映射$id_W$的变换矩阵,

3. 核(kernel)与象(Image)

先看定义:

核(Kernel/null space):

假设有映射$\Phi:V→W$,核(kernel)为：
\[ker(\Phi)=\Phi^{-1}(0_w)=\{v∈V:\Phi(v)=0_w\}\]

什么意思呢？就是说通过映射后,$V$中的一些值被映射到$W$的零点(以下图示)，而$V$这些值组成的集合(即左边橘黄色部分)就称为kernel。

象(Image/Range)

\[Im(\Phi)=\Phi(V)=\{w∈W|\exists v∈V:\Phi(v)=w\}\]

怎么理解象呢？就是说整个向量空间$V$在通过映射后在向量空间$W$上获得的集合，也就是右边黄色部分。

为方便理解，能够把kenel粗略地理解成定义域，Image理解成值域。

另外须要注意的有以下推论:

始终有$\Phi(0_V)=0_W$，即$0_V∈ker(\Phi)$
$Im(\Phi),Ker(\Phi)$分别是$W,V$的子空间
当且仅当$Ker(\Phi)=\{0\}$时，$\Phi$是单射。

Rank-Nullity Theorem(秩-零定理):对于映射$\Phi:V→W$始终知足以下等式:
\[dim(Ker(\Phi))+dim(Im(\Phi))=dim(V)\]

若是用matrix来讲的话，假设A是一个n*n的matrix，则:$rank(A)+nullity(A)=n$
再通俗点说就是对A进行初等变换后获得的echelon form（行阶梯形式），不为0的行数加上所有为0的行数等于这个矩阵的行数。固然由于通常的matrix的row rank和column rank相等，因此变成column echelon form以后用列来计数也是同样的。

III. 仿射空间(Affine Spaces)

前面提到的映射都是通过零点的，下面介绍的仿射空间是偏离原点的空间。

1. 仿射子空间(Affine Subspaces)

定义:

假设$V$为向量空间，$x_0∈V$, $U\subseteq{V}$为子空间，则子集
\[ \begin{align} L&=x_0+U=\{x_0+u: u∈U\} \notag \\ &=\{v∈V|\exists{u∈U}:v=x_0+u\}\subseteq{V} \notag \end{align} \]
称为向量空间$V$的 仿射子空间(affine subspace) 或 linear manifold。$U$称为Direction (Space),$x_0$称为support point