【AI数学基础：微积分】凸集与凸函数

1、    凸集

 

 余维度：

若 W 是一贯量空间 V 的一个线性子空间，则 W 在 V 的 余维数是商空间 V/W 的维数。在有限维空间下，coddim（W）=dim（V/W）=dim（V）-dim（W）

超平面：n维欧式空间中余维度为1的线性子空间

(1) 超平面是指n维线性空间中维度为n-1的子空间。它能够把线性空间分割成不相交的两部分。好比二维空间中，一条直线是一维的，它把平面分红了两块；三维空间中，一个平面是二维的，它把空间分红了两块。

(2) 法向量是指垂直于超平面的向量。

(3)    

 

(4)超平面为x构成的平面，使用法向量a肯定方向。这个平面任取两个点作加权平均依然在这个平面上。（a^Tx=b为线性方程，a是一个列向量）

(5)半空间：只取超平面的一半。

 

凸集分离定律：

 

 

 

2、    凸函数

(一)   凸函数的一阶刻画

 

 

 

（x，z）为epi中的点的坐标，用这些坐标点表示一个空间范围

 

强凸：使用x²衡量凸的程度

 

 

 

 

 图中的算子为梯度算子。梯度算子为导数在空间中的推广。

红圈部分表示任意（x，y）对应的切平面

 

(二)   凸函数的二阶刻画

黑塞矩阵

 

 

 

 

 二阶导恒非负，构成的黑塞矩阵正定

 

极小即最小

 

 

(三)   保凸运算

这里f_i表示凸函数
非负线性组合：w_i是非负数
最小化：将高维函数投影到低维函数域

(四)   课后题：

 

√：证实两个函数都是凸函数便可