内积空间

一 向量空间与内积空间

    向量空间也称做线性空间，向量空间对向量线性组合封闭。若是  为向量空间 V 的一组基，则  仍在向量空间 V 中。在向量空间中，仅定义了数乘与向量加法运算。在此基础上，定义内积运算，经过内积运算，能够求解向量长度，向量间角度等概念，这就定义了内积空间。设向量为X, Y，X 长度定义为 ， X,Y 间角度定义为 。

 

二 内积定义

    在 空间上，有以下矢量  和 ，在几何中，矢量长度表示原点到其端点的距离，根据 Pythagorean 定理，有 。定义内积 ，则矢量 X 长度等于 ，这样创建其内积与长度关系。

    在复矢量空间 中，有以下矢量  和 ，定义内积 。 如何理解复矢量内积？首先，针对单个复数 ，

有 ，使用共轭乘法可求解复数长度。当两个不一样复数共轭乘法时，，其结果仍然为一个复数，可分解为实数分类与虚数份量。复矢量内积就是对所得复数相加获得一个结果，最终结果通常包括实数份量与虚数份量部分，即通常结果为  形式。

    内积知足以下性质：

    1）正性：若是 v 为非零向量， <v, v> > 0， 该性质对实矢量与复矢量均成立；

    2）共轭对称性：，针对复矢量，该等式成立，针对实矢量，共轭运算等于自己，则内积运算对称；

    3）均匀性：， 针对复矢量时 c 为复数，实矢量时 c  为实数；

    4）线性：<u + v, w> = <u, w> + <v, w>,  <u, v + w> = <u, v> + <u, w>, 针对复矢量与实矢量均成立。

 

三  空间与  空间

    一个信号可表示为 f(t) 的函数，在区间  上 ，空间  表示全部平方可积函数组成的空间，即

    

    函数 f(t) 能够存在无穷多个间断点，使用 Lebesgue 观点，即不考虑测度为零的集合时，在区间  上的积分和有限。在 N 维向量空间中，空间维度为 N，向量长度也为 N。类比 N 维向量空间，空间  是无限维的（即无限个 f(t) 知足以上条件）， 区间  能够被无限细分，相似向量长度能够无限长。

    假设 f(x), g(x) 是  空间中的信号，将区间 [0, 1] 离散化为 N  等分，构成 N 为向量 ，，当 N 趋近无穷大大时， 

    , ， 则 ， 。

    当逐渐增大 N 时，  也随着逐渐增大，因为  空间为无限维空间，若是按该方法定义内积将获得一个无限大值（在向量空间中，因为空间维度有限，使用乘积和定义是合理的，其物理意义也很明确）。改进的方法为使用无限和平均值，则有 。当 N 趋近无穷大时，该式为 Riemann 和近似，则 内积可定义为：

    ， 。

     空间内积一样知足 正性，共轭对称性，均匀性以及线性等性质。

    因为在 Lebesgue 积分过程当中，不考虑测度为零的间断点，则在  空间中定义两个函数相等意味着除了零测度集外，只要其余区域上知足 f(t) = g(t) 即认为函数相等。

    在信号处理应用中，存在不少无限离散序列，，该离散序列在 j > |N| 时，，这定义了  的离散形式：

    ，这里再也不像  定义使用平均值是由于离散序列在 j > |N| 时，。

     空间中可使用两种方式定义收敛：

    1）收敛定义为：给定任意足够小 ，存在一个足够大的非负整数 N，使得当  时， 有  ；

       以上定义中使用  内积概念，因为积分过程不考虑测度为零的间断点，因此并不保证在任意点上两函数都无限接近；

    2）一致收敛定义为：给定任意足够小 ，存在一个足够大的非负整数 N，使得当  时， 在区间 上任意点都知足 ；

                 

    根据以上图形，很容易获得以下结论：若  一致收敛到 f，则  必定  收敛到 f；反之，则不必定成立。

 

四 Schwarz不等式与三角不等式

    1) Schwarz不等式： ；

    2）三角不等式：  ；

    Schwarz不等式在实空间下证实：

    考虑不等式 ，其中 t 为实数变量，使用内积公式展开得：

    ，因为该不等式大于或等于零，关于 t 的二次函数判别式小于等于零；

    ， 整理得：，结论得证。

    Schwarz不等式在复空间下证实：

    在复空间下内积结果通常为一复数，即 。要使 X, Y 内积为一实数，能够对 X 作反方向旋转，故可考虑以下不等式：

    ，其中 t 为实数变量， 使内积结果为一实数，展开不等式得：

    ，

   根据共轭对称性质 ，最终获得：

    ，当旋转合适  后， 退化为实数  。使用二次多项式判别式结论得证。

    三角不等式证实：

    ，由于 ，

   因此有 ，两边开平方后结论得证。

 

五 正交

    在内积空间 V 中，

    1）X, Y 属于 V ，若是 <X, Y> = 0, 根据余旋定理可得 X, Y 正交；

    2）矢量集 中每一个矢量 ，若是  且彼此正交，则矢量集  正交；

    3）若是 ，一个子空间中每一个矢量与另外一个子空间每一个矢量正交，则子空间  正交；

    在小波变换与傅里叶变换中，分别用到两个不一样得正交矢量集，haar小波函数与三角函数，具体以下：

    haar小波函数包括尺度函数 ，小波函数 ，在  空间中，根据内积定义，，正交。

    三角函数 f(t) = sint, g(t) = cost, 在  空间中， 根据内积定义，，f, g 正交。

 

    矢量能够根据某个正交基展开，

   1）若是  是内积空间 V 的一个子空间， 的正交基为 ，若 ，则 ；

   2）若是  是内积空间 V 的一个子空间， 的正交基为 ，若 ，则 ，

         且  ，也即 ；

   当  时， 有以下推导：

   使用正交基  将 v 展开得：，其中  为各份量系数，且未知；

   令 k 为 [1,N] 区间中一具体整数，作以下运算：，由矢量基的正交性可得：；

   将  代入得：，结论得证。

   当  时，v 没法由  线性张成，但能够在  空间中找到一个离 v 最近得向量 ，使得 ，推导以下：

   假设  是  空间最接近 v  的矢量，构造函数：，因为 是  空间最接近 v 的矢量，则当 t = 0 时函数取得最小值；

   考虑实矢量状况下，，而后对 f(t) 求导：

   ，因为 t = 0 时函数取得最小值，则有 ，即 。

    假设  可写成正交基 的线性组合，，因为 ，有 ，

    根据内积线性性质，化简得： ，求得 ，即 。

    内积空间可被分为  与正交补 ，

    定义为：，对任意矢量 ，能够惟一表示 ，其中，。

   使用 Gram-Schmidt 方法可正交化一组基，

   内积（子）空间 V 中存在一组基 ，能够寻找一组对应正交基 ，其中 ，具体方法以下：

   1）定义 ；

   2） 在  上投影为：，则 ，，确保  且 ；

   3） 在 ， 上投影为：，，；

   4）重复以上过程知道求解出 ，完成 Gram-Schmidt 正交化。

 

参考资料   小波与傅里叶分析基础 Albert Boggess & Francis J. Narcowich