线性代数笔记29——正定矩阵和最小值

　　原文连接 | https://mp.weixin.qq.com/s/wX6wmVSqJUTgbmk8Z1r2_w

判断正定矩阵

　　给出一个矩阵：

　　有4个途径能够断定该矩阵是不是正定矩阵（注意这个矩阵的4个元素中有2个b，这是由于正定矩阵是对称矩阵，若是A的次对角线的元素不相等，A就不是对称的，也就没有必要进一步断定是不是正定的）：

1. 全部特征值大于0，λ₁>0，λ₂>0
2. 行列式及左上角的全部k阶子行列式均为正（1≤k≤n）
3. a > 0, ac – b² > a （针对2阶矩阵）
4. 对于任意非零向量x，x^TAx > 0

　　其中第4个是正定的定义，前3个是用来验证正定的条件。

　　

　　当y怎样取值时，下面的2阶矩阵是正定的？

　　根据条件2可知，2y > 6²时，即y>18时，矩阵是正定的。

　　若是y=18，则矩阵正好处于正定的临界点上，此时A是奇异矩阵，有一个特征值是0，x^TAx = 0。咱们称这种处于临界点上的正定矩阵为半正定矩阵。

矩阵的二次型

　　再来看一下x^TAx。对于非零向量x来讲，Ax是线性形式，加入x^T后就变成了含有二次项的形式，好比：

　　这种形式称为矩阵的二次型。固然x^TAx也只有二次型，没有三次型和四次型，即便x是更多维度的向量也同样，好比当x是三维向量时，最终结果仍然只含有二次项：

　　若是对于任意非零向量x来讲，矩阵的二次型都大于0，那么这个矩阵是正定矩阵。

　　y=18时A是半正定矩阵，当x₁=3,x₂=-1时，其二次型为0：

二次型的意义

　　为了画出几何图形，咱们以二阶矩阵为例，先看一个非正定矩阵：

　　它的二次型是2x₁² + 12x₁x₂ + 7x₂²，其几何图形以下：

　　从图形上看没有最小值点，原点处是一个鞍点，在某个方向看是极大值，同时又是另外一个方向的极小值。下图是个经典的鞍点，图形呈马鞍状：

　　再来看正定矩阵：

　　A的二次型是f(x,y) = 2x² + 12xy + 20y²，图形以下：

　　回顾本节出现的两个二次型，它们均可以经过配方写成彻底平方的形式：

　　当x,y不全是0时，能够判断第2个二次型必定大于0，第一个就不必定了。此外还能够经过二次型判断临界点是(0, 0)点。

　　

　　通过配方后的二次型很奇妙，它还能够来自消元：

　　消元变成了上三角矩阵。A能够经过LU分解成：

　　如今把原矩阵、二次型和LU分解放到一块：

　　通过消元后的第一个主元是x的系数，第二个主元正是配方项2y²的系数，若是f大于0，那么这两个系数必定是正值，这也是为何正定矩阵的主元必定都为正的缘由。

 

　　换一个矩阵试试：

　　其中一个主元是负数，对应的二次型也不能保证必定大于0。

　　

正定矩阵与最小值

　　正定矩阵对应的二次型是有最小值的。

二元函数

　　判断一元函数是否有最小值，须要判断它的导数和二阶导，一样，多元函数是否有最小值也要根据临界点和二阶导判断。咱们在多变量微积分中介绍过怎样判断二元函数的最小值，最小值出如今临界点上：f(x, y)的一个临界点是(x₀, y₀)，即f_x(x₀, y₀) = 0 且 f_y(x₀, y₀) = 0， f的最小值是根据二阶导数判断的：

　　对于f(x,y) = 2x² + 12xy + 20y²来讲：

　　临界点符合最小值的条件，所以(0,0)是f(x,y) = 2x² + 12xy + 20y²的最小值。这个结论实际上来源于对A的二阶导矩阵的正定性的判断：

　　对于二元函数的混合偏导来讲，f_xy和f_yx是同样的，所以这个矩阵是对称矩阵。在求得临界点后，根据断定正定矩阵的第3条，只要知足下面的条件，则这个二阶导矩阵是正定矩阵：

三元函数

　　如今召唤一个三元矩阵，而后判断它的正定性：

　　先对其进行消元：

　　A的主元都大于0，这符合正定矩阵的性质，是一个必要条件。

　　接下来咱们经过子行列式判断A的正定性：

　　如今能够肯定A是正定矩阵。若是进一步求得特征值，则A的3个特征值是：

　　特征值之和等于A的迹，特征值之积等于A的主元之积。

　　A是正定矩阵，所以能够断定A的二次型是有最小值的：

　　用配方法验证：

　　能够看出最小值的点是(0, 0, 0)。

 

　　原文连接 | https://mp.weixin.qq.com/s/wX6wmVSqJUTgbmk8Z1r2_w

　　更多极值问题，可参考做者公众号的专栏《单变量微积分》《单变量微积分》《程序员的数学》中的相关文章。

　　

---

　　出处：微信公众号 "我是8位的"

 

　　本文以学习、研究和分享为主，如需转载，请联系本人，标明做者和出处，非商业用途！ 

　　扫描二维码关注做者公众号“我是8位的”