原创：矩阵论学习心得

矩阵论是对线性代数的延伸，颇有必要深刻研究。研究矩阵论能够加深对PCA，SVD,矩阵分解的理解，尤为是第一章入门的线性空间的理解，在知识图谱向量化，self_attention等论文中会涉及大量的矩阵论的知识。本文对此作一个总结，分为如下结构:

第一部分：矩阵的线性空间，矩阵的意义;

第二部分：矩阵的范数理解，self_attention以及transD论文核心技术解读;

第三部分：矩阵的分解以及PCA，SVD

1.线性空间，矩阵的意义

这部份内容是理解矩阵的基础也是最关键的部分。对于线性空间的基本概念没必要多解释，都说矩阵的本质是线性变换，这里有必要总结一下。通常而言，矩阵乘以向量后结果仍然是向量，至关于对向量进行了变换。这个变换包括方向和幅度，方向指的是坐标轴，幅度通常值向量的特征值。举一个最直观的例子：

好比说下面的一个矩阵：    它其实对应的线性变换是下面的形式：

由于这个矩阵M乘以一个向量(x,y)的结果是：

上面的矩阵是对称的，因此这个变换是一个对x，y轴的方向一个拉伸变换（每个对角线上的元素将会对一个维度进行拉伸变换，当值>1时，是拉长，当值<1时时缩短），当矩阵不是对称的时候，假如说矩阵是下面的样子： 

它所描述的变换是下面的样子：

上面的M矩阵，其实已是特征值了，呵呵。下面从最专业的矩阵论理论，具体解释矩阵的本质。前面的变换实际上是对向量的左边进行拉伸或者旋转，因此先介绍一下在矩阵论中坐标轴，坐标系和坐标的概念。   

对于线性空间Vⁿ   ，空间的基e1,e2,……是一组非线性相关向量，就是这些向量组成的行列式不为0。空间中的任一贯量均可以写成这些基的线性组合，这些组合系数称之为向量的坐标。空间的基对应空间的坐标系，坐标是对应在坐标系中的。那么一个变换矩阵应该如何理解呢？现有空间里的一个向量x,Tx为向量的象，也就是通过变换后的向量。现推导以下：

 

 

首先半正定矩阵定义为:
其中X 是向量，M 是变换矩阵

咱们换一个思路看这个问题，矩阵变换中，MX表明对向量 X进行变换，咱们假设变换后的向量为Y，记作Y = MX。因而半正定矩阵能够写成：

这个是否是很熟悉呢？ 他是两个向量的内积。 同时咱们也有公式：

||X||, ||Y||表明向量 X,Y的长度，是他们之间的夹角。 因而半正定矩阵意味着

 

, 这下明白了么？正定、半正定矩阵的直觉表明一个向量通过它的变化后的向量与其自己的夹角小于等于90度。

下面从上面推导的过程来理解，考虑矩阵的特征值：
若全部特征值均不小于零，则称为半正定。
若全部特征值均大于零，则称为正定。

矩阵通过特征值分解后的特征值是一个对角阵，就是原空间某一个基在变换后的空间的长度变化系数，大于0表示方向一致，小于0表示方向相反，每一个向量都会通过变换矩阵A的每列系数组合变换，而A通过分解后分为特征值和坐标轴两部分，每一个特征值代表了基的自身变换方向与幅度，>0代表同向变换。若是每一个特征值都>0的话，因为向量是由空间的基线性组合而成最终致使变换后的向量与原向量同向变化。

 2.矩阵的范数

矩阵的范数和向量的范数没有太大的不一样，惟一添加的就是相容性。证实的矩阵的范数时只需证实4条就能够了。一般所说的矩阵一阶范数指的是列和范数，即取每列绝对值之和最大的数。矩阵的F范数应用是很广的。相似于用向量的欧式距离，把一个mxn的矩阵当作是碾平的向量，取欧氏距离便可。在self_attention论文中，核心就是矩阵的F范数结构化约束。有兴趣能够读一读并复现论文，用在工程之中。在知识图谱的transD论文里关于entity和relation的相互投影问题以及h和t不在一个空间的问题，能够很好地用矩阵论来解释。

3.矩阵的QR分解以及PCA,SVD

矩阵的QR分解理论对PCA和SVD具备很是好的指导意义。矩阵论里面很是好地阐释了QR分解和SVD的关系，这里不作推导了。PCA实际上是SVD的外部封装。特征值分解和奇异值分解在机器学习领域都是属于满地可见的方法。二者有着很紧密的关系，特征值分解和奇异值分解的目的都是同样，就是提取出一个矩阵最重要的特征。先谈谈特征值分解吧：

若是说一个向量v是方阵A的特征向量，将必定能够表示成下面的形式： 这时候λ就被称为特征向量v对应的特征值，一个矩阵的一组特征向量是一组正交向量。特征值分解是将一个矩阵分解成下面的形式： 其中Q是这个矩阵A的标准正交特征向量系组成的矩阵，Σ是一个对角阵，每个对角线上的元素就是一个特征值。这个结论实际上是QR分解的一个推广，这个公式更能直观地解释第一部分关于半正定矩阵的解释。咱们来看看奇异值分解和PCA的关系吧：

 

矩阵论中关于奇异值的讲解，比网上其余的博客要正统不少。