【深度学习中的线性代数理解】中的各类量理解：标量、向量、矩阵、张量

 

标量、向量、矩阵、张量之间的联系

    在深度学习中，你们确定都知道这几个词：标量（Scalar），向量（Vector），矩阵（Matrix），张量（Tensor）。可是要是让咱们具体说下他们，可能一会儿找不出头绪。下面介绍一下他们之间的关系：

标量（scalar)

​一个标量表示一个单独的数，它不一样于线性代数中研究的其余大部分对象（一般是多个数的数组）。咱们用斜体表示标量。标量一般被赋予小写的变量名称。如：a

 向量（vector）

​一个向量表示一组有序排列的数。经过次序中的索引，咱们能够肯定每一个单独的数。一般咱们赋予向量粗体的小写变量名称。当咱们须要明确表示向量中的元素时，咱们会将元素排列成一个方括号包围的纵柱：如 a.

矩阵（matrix）​

矩阵是一个二维数组，其中每个元素由两个索引所肯定。一个有m行，n列，每一个元素都属于 RR 的矩阵记做 A∈R^m×n. 一般使用大写变量名称，如A

 

张量（tensor）

超过两维的数组叫作张量。

在某些状况下，咱们会讨论坐标超过两维的数组，通常的，一个数组中的元素分布在若干维坐标的规则网格中，咱们称之为张量。咱们使用字体 A 来表示张量“A”。张量A中坐标为(i,j,k) 的元素记做 A_i,j,k .

 

四者之间关系

 

标量是0阶张量，向量是一阶张量。

举例：

​标量就是知道棍子的长度，可是你不会知道棍子指向哪儿。

​向量就是不但知道棍子的长度，还知道棍子指向前面仍是后面。

​张量就是不但知道棍子的长度，也知道棍子指向前面仍是后面，还能知道这棍子又向上/下和左/右偏转了多少。

 

 

向量和矩阵的范数概括

　　　　

 向量的范数(norm)

 

 向量的1范数：

向量的2范数：

 

 向量的负无穷范数：

 

  向量的正无穷范数：

 

  向量的p范数：

 

 

矩阵的范数

　　

　　当向量取不一样范数时, 相应获得了不一样的矩阵范数。

 矩阵的1范数（列范数）： 

 矩阵的每一列上的元素绝对值先求和，再从中取个最大的,（列和最大）；

 矩阵的2范数：

矩阵的无穷范数（行范数）：

矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）.

上述矩阵A的行范数先获得[6；16] ，再取最大的最终结果就是：16。

矩阵的核范数：

矩阵的奇异值（将矩阵svd分解）之和，这个范数能够用来低秩表示（由于最小化核范数，至关于最小化矩阵的秩——低秩）

矩阵的L0范数：

矩阵的非0元素的个数，一般用它来表示稀疏，L0范数越小0元素越多，也就越稀疏.

上述矩阵A 最终结果就是：6

矩阵的L1范数：

矩阵中的每一个元素绝对值之和，它是L0范数的最优凸近似，所以它也能够表示稀疏.

上述矩阵AAA最终结果就是：22。

矩阵的F范数：

矩阵的各个元素平方之和再开平方根，它一般也叫作矩阵的L2范数，它的有点在它是一个凸函数，能够求导求解，易于计算.

上述矩阵A最终结果就是：10.0995。

  矩阵的 p范数:

 其余线性代数的标量学习

 

行列式：（数学上定义为一个函数）

转置（transpose）

 

  

　　注意：

　　向量能够看做只有一列的矩阵， 对应地，向量的转置结果能够看做只有一行的矩阵。
　　标量的转置等于自身。

矩阵运算

 　　矩阵能够进行加法、乘法计算。

矩阵乘法（Matrix Product）

   两个矩阵的标准乘积不是两个矩阵中对应元素的乘积。 

  向量的点积（dot Product）：（能够理解成矩阵乘积Matrix Product）

  注意：

　　向量点积结果必然是一个实数，即一个一行一列的矩阵。

矩阵乘法分配律 

 

矩阵乘积结合律 

　　注意：矩阵乘积并不知足交换律，然而，两个向量的点积知足交换律

 

　　矩阵乘积的转置有着简单的形式

 

 单位矩阵（identity matrix）

 单位矩阵全部沿对角线的元素都是1， 而其它位置的全部元素都是0。

任意向量和单位矩阵相乘，都不会改变。

 逆矩阵

 

 

 

 

 

 

 

 

 

 

 

 

 

endl;