利用特征值分解理解矩阵特征值和特征向量的几何意义

本文发自：http://www.haopeng233.top/2018/06/15/math-matrix-eigenvalue/

欢迎你们访问：）

前言

一直有一个疑问，矩阵的特征值和特征向量到底表明了矩阵的什么性质？尤为是特征值还被称为矩阵的Eigenvalues ，而后看了知乎上的一些解释，也未能获得较好的理解，有些太理论：）

而后本文就从本身现有知识体系下解释一下矩阵的特征向量与特征值的几何意义。有以下公式，$ x ，y $为向量，$ A $为矩阵，并且是方阵，由于只有方阵才有特征值和特征向量的概念，我会在最后给出非方阵的分析，基于SVD的理解，但不是很透彻，仅做为了解。

$$ y = Ax$$

本文主要分析矩阵$A$的特征值在这个过程当中到底起到了怎么样的做用。

预备知识

首先你须要了解如下知识

1.坐标变换

坐标变换建议阅读：https://blog.csdn.net/u011240016/article/details/52821139

坐标变换想作什么事呢？假设$n$维空间有两组线性无关的基 ${α1,...,αn}$，${β1,...,βn}$，它们必定能够互相表示，有如下公式成立，记过渡矩阵为$C$，当${α1,...,αn}$为标准正交基时，$[β1,...,βn]=C$ ,下图的第一个公式称为基变换。

此外还有坐标变换，向量$γ$在基底$α1,α2,...,αn $的坐标是$x_1,x_2,...,x_n$,在基底$β1,β2,...,βn$下的坐标是$y_1,y_2,...,y_n$则坐标变换公式以下 ,注意坐标变换与基变换中$C$的位置不一样。

2.特征值分解

特征值分解就是矩阵的对角化，就是能够将$A$分解为下面的形式，$Q$是由对应特征向量组成的矩阵，列向量是特征向量，$Σ$为对角矩阵，对角线上的元素为$A$的特征值。

$$A = QΣQ^{-1}$$

并非全部方阵均可以对角化，方阵A能够被对角化的条件是

• n阶方阵有n个不一样的特征值

• 若是阶n方阵存在重复的特征值,每一个特征值的线性无关的特征向量的个数刚好等于该特征值的重复次数

实际上都是为了保证$Q$是可逆的，若是存在$n$个线性无关的特征向量，则矩阵$Q$必定可逆 。

3.SVD分解

这个网上有许多介绍，我就不赘述了。任意矩阵均可以进行SVD分解。

正文

1.先考虑一个比较特殊的状况,$A$是方阵，而且能够特征值分解

$A$是方阵，所以$Ax$后获得的$y$还是原空间的一个向量，没有投影或者升维的过程。从结果来看，$A$的做用是将$x$旋转必定角度并拉伸。

那具体如何过程是怎样的，首先将$A$作特征值分解，$Ax=QΣQ^{-1}x$，$Q$是满秩的也就是列线性无关，能够看做是原空间的一组基，因此$Q^{-1}x$能够看做是坐标变换，其含义是将$x$变换到新的基下(对于同一个过渡矩阵$C$，基变化和坐标变化是反向的)，这些基由特征向量构成，特征向量是线性无关的但不是正交的（实对称矩阵特征向量正交），再与$Σ$相乘，$Σ$是对角矩阵，其含义就是将$x$沿着变换后的坐标轴缩放，这里的比例系数是新的基（特征向量）对应的特征值，而后再乘以$Q$变回到原始的标准坐标系下。

上面的操做等价于在标准坐标系下沿着特征向量的方向直接缩放，每一个方向缩放的尺度就是对应的特征值。以上两种不一样的操做最后能够获得一样结果，即$x$被旋转并缩放。其实是把$x$朝特定的方向缩放，使咱们产生了$x$被旋转的感受。

那么若是咱们将$x$乘以不少遍$A$会有什么效果？从上述分析能够获得，$x$会被拉伸到$A$的最大特征值对应的特征向量的方向上。这里盗图一张。

2.A是普通方阵，不能被特征值分解

普通$n$阶方阵必定有$n$个特征值，对应$n$个特征向量，可是特征向量不必定是线性无关的，因此不能对其进行特征值分解（如下分析不太严谨），但咱们能够认为这只不过是对应的拉伸的方向少了一些，好比此时只有$m（m<n）$个线性无关的特征向量，那么$Ax$后，$x$就只在$m$个特征向量的方向上进行缩放。

3.A是非方阵

非方阵的话就不存在特征值和特征向量的概念了，其实不属于本文的讨论的范围，但简单说一下，咱们能够对$A$矩阵进行SVD分解。

SVD分解可获得以下形式，$U$，$V^T$是正交矩阵，$Σ$是奇异值矩阵，只有对角线元素有值，$Ax$的意义是先在原空间内作旋转，再投影$（m＜n）$到低维空间并缩放（奇异值）倍，或升维度$（m＞n）$到高维空间并缩放（奇异值）倍，而后在新的空间内旋转。结果就是向量$x$被旋转、缩放、投影或升维。