【深度学习】数据降维方法总结

引言：

　　机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 f : x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。 y是数据点映射后的低维向量表达，一般y的维度小于x的维度（固然提升维度也是能够的）。f多是显式的或隐式的、线性的或非线性的。

　　目前大部分降维算法处理向量表达的数据，也有一些降维算法处理高阶张量表达的数据。之因此使用降维后的数据表示是由于：①在原始的高维空间中，包含有冗余信息以及噪音信息，在实际应用例如图像识别中形成了偏差，下降了准确率；而经过降维,咱们但愿减小冗余信息所形成的偏差,提升识别（或其余应用）的精度。 ②又或者但愿经过降维算法来寻找数据内部的本质结构特征。

　　在不少算法中，降维算法成为了数据预处理的一部分，如PCA。事实上，有一些算法若是没有降维预处理，实际上是很可贵到很好的效果的。

• 数据降维的目的

　　数据降维，直观地好处是维度下降了，便于计算和可视化，其更深层次的意义在于有效信息的提取综合及无用信息的摈弃。

• 数据降维的方法

　　主要的方法是线性映射和非线性映射方法两大类。

1、线性映射

　　线性映射方法的表明方法有：PCA（Principal Component Analysis），LDA（Discriminant Analysis）

1.1  主成分分析算法（PCA）

　　主成分分析(PCA) 是最经常使用的线性降维方法，它的目标是经过某种线性投影，将高维的数据映射到低维的空间中表示，并指望在所投影的维度上数据的方差最大，以此使用较少的数据维度，同时保留住较多的原数据点的特性。 是将原空间变换到特征向量空间内，数学表示为AX = γX。

　　为何要用协方差矩阵来特向分解呢？ 
　　协方差矩阵表征了变量之间的相关程度（维度之间关系）。 
　　对数据相关性矩阵的特向分解，意味着找到最能表征属性相关性的特向（最能表征即偏差平方最小）。PCA一开始就没打算对数据进行特向分解，而是对数据属性的相关性进行分析，从而表示出最能表明属性相关性的特向，而后将原始数据向这些特向上投影。因此，有的地方说PCA去相关。 

　　通俗的理解，若是把全部的点都映射到一块儿，那么几乎全部的信息（如点和点之间的距离关系）都丢失了，而若是映射后方差尽量的大，那么数据点则会分散开来，以此来保留更多的信息。能够证实，PCA是丢失原始数据信息最少的一种线性降维方式。（实际上就是最接近原始数据，可是PCA并不试图去探索数据内在结构）

　　设 n 维向量w为目标子空间的一个坐标轴方向（称为映射向量），最大化数据映射后的方差，有：

　　其中 m 是数据实例的个数，xi 是数据实例 i 的向量表达， x拔是全部数据实例的平均向量。定义W 为包含全部映射向量为列向量的矩阵，通过线性代数变换，能够获得以下优化目标函数：

　　其中tr表示矩阵的迹，A是数据协方差矩阵。

　　容易获得最优的W是由数据协方差矩阵前 k 个最大 的特征值对应的特征向量做为列向量构成的。这些特征向量造成一组正交基而且最好地保留了数据中的信息。

　　PCA的输出就是Y = W*X，由X的原始维度下降到了k维。

　　PCA追求的是在降维以后可以最大化保持数据的内在信息，并经过衡量在投影方向上的数据方差的大小来衡量该方向的重要性。可是这样投影之后对数据的区分做用并不大，反而可能使得数据点揉杂在一块儿没法区分。这也是PCA存在的最大一个问题，这致使使用PCA在不少状况下的分类效果并很差。具体能够看下图所示，若使用PCA将数据点投影至一维空间上时，PCA会选择2轴，这使得本来很容易区分的两簇点被揉杂在一块儿变得没法区分；而这时若选择1轴将会获得很好的区分结果。

PCA优缺点：

　　优势：1.最小偏差 2.提取了主要信息

　　缺点：PCA将全部的样本（特征向量集合）做为一个总体对待，去寻找一个均方偏差最小意义下的最优线性映射投影，而忽略了类别属性，而它所忽略的投影方向有可能恰好包含了重要的可分性信息。

1.2 线性判别分析（LDA）

　　判别分析(Discriminant Analysis) 所追求的目标与PCA不一样，不是但愿保持数据最多的信息，而是但愿数据在降维后可以很容易地被区分开来。后面会介绍LDA的方法，是另外一 种常见的线性降维方法。另一些非线性的降维方法利用数据点的局部性质，也能够作到比较好地区分结果，例如LLE，Laplacian Eigenmap等。之后会介绍。

　　LDA是一种有监督的（supervised）线性降维算法。与PCA保持数据信息不一样，核心思想：往线性判别超平面的法向量上投影，是的区分度最大（高内聚，低耦合）。LDA是为了使得降维后的数据点尽量地容易被区分！

　　假设原始数据表示为X，（m*n矩阵，m是维度，n是sample的数量）

　　既然是线性的，那么就是但愿找到映射向量a， 使得 a‘X后的数据点可以保持如下两种性质：

　　　　一、同类的数据点尽量的接近（within class）

　　　　二、不一样类的数据点尽量的分开（between class）

　　因此呢仍是上次PCA用的这张图，若是图中两堆点是两类的话，那么咱们就但愿他们可以投影到轴1去（PCA结果为轴2），这样在一维空间中也是很容易区分的。

 PCA与LDA的区别：

主成分分析（Principal Component Analysis,PCA）能够找拥有最大方差的那个轴。虽然这样的转换是从最佳重建角度考虑的，可是他没有把标签问题考虑进去。想象一个状况，对于图片分类样本而言，若是变化是基于外部来源，好比光照。轴的最大方差不必定包含任何有鉴别性的信息，所以此时的分类是不可能的。而 线性判别分析(Linear Discriminant Analysis,LDA)的特定类投影方法被提出来解决人脸识别问题。其中一个基本的想法就是， 使类内方差最小的同时，使类外方差最大。

2、非线性映射

　　非线性映射方法的表明方法有：核方法（核+线性），二维化和张量化（二维+线性），流形学习（ISOMap，LLE，LPP）

2.1  基于核的非线性降维

　　表明方法有：KPCA，KFDA。 
　　KPCA的基本思想：经过Kernel trick将PCA投影的过程经过内积的形式表达出来。将高维向量ϕ(x)与对应特向βϕ(x)与对应特向β的内积转换成低维的核函数表示。 

2.2  流形学习

　　流形学习的主要算法有：ISOMap（等距映射）、LE（拉普拉斯特征映射）、LLE（局部线性嵌入）。 
　　流形：直线或者曲线是一维流形，平面或者曲面是二维流形，更高维以后是多维流形。一个流形比如是 d 维的空间，是一个 m 维空间（m>n）被扭曲以后的空间。流形并非一个“形状”，而是一个“空间” 
　　流形学习的假设：数据采样于某一流形上。

2.2.1  ISOMap（等距特征映射）

　　ISOMap是一种非迭代的全局优化算法。ISOMap对MDS（Multidimensional Scaling-多维尺度分析）进行改造，用测地线距离（曲线距离）做为空间中两点距离，原来是用欧氏距离，从而将位于某维流形上的数据映射到一个欧氏空间上。 
　　ISOMap将数据点链接起来构成一个邻接Graph来离散地近似原来流形，而测地距离则相应地经过Graph上的最短路径来近似了。 
　　好比：咱们将球体曲面映射到二维平面上。 
　　此博客写得通俗易懂：http://blog.pluskid.org/?p=533 
　　几点注意： 
　　1）ISOMap适用的流形：适合于内部平坦的低维流形，不适合于学习有较大内在曲率的流形。 
　　2）近邻数的选择：近邻数应足够大以便可以减小在路径长度和真实测地距离之间的不一样，但要小到可以预防“短路”现象。 
　　3）所构造图的连通性：要求所构造的图示连通的，不然有两种处理办法，一种是放宽临界点选择的限制，另外一种是对于每一连通部分分别使用ISOMap算法，获得不一样部分的降维结果。 
　　数据究竟是否分布于一个流形上？这是个暂时难以回答的问题。 
　　MDS是一种降维方法，它在降维时使得降维以后的两点间的欧氏距离尽可能保持不变（用欧氏距离矩阵来表示高维向量的两两之间的类似度，寻找一样数量的映射维度的向量，使得映射维度下两两间距离约等于原高维下两两间距离，变为了优化问题）。维基百科对MDS的介绍https://en.wikipedia.org/wiki/Multidimensional_scaling

2.2.2  LLE（局部线性嵌入）

　　前提假设：数据没有造成一个封闭的超曲面，局部数据点是线性的。 
　　LLE（Locally Linear Embedding-局部线性嵌入）是一种非线性降维算法，它可以使降维后的数据较好地保持原有 流形结构 。LLE用局部线性反映全局的非线性的算法，并可以使降维的数据保持原有数据的拓扑结构。（在流形上使用局部线性，并用有限局部样本的互相线性表示，获得几何特性的构造权重矩阵，在低维下找到知足高维时样本间构造权重的样本集） 

　　使用LLE将三维数据（b）映射到二维（c）以后，映射后的数据仍能保持原有的数据流形（红色的点互相接近，蓝色的也互相接近），说明LLE有效地保持了数据原有的流行结构。

　　可是LLE在有些状况下也并不适用，若是数据分布在整个封闭的球面上，LLE则不能将它映射到二维空间，且不能保持原有的数据流形。那么咱们在处理数据中，首先假设数据不是分布在闭合的球面或者椭球面上。

　　LLE算法认为每个数据点均可以由其近邻点的线性加权组合构造获得。算法的主要步骤分为三步：

1. 寻找每一个样本点的k个近邻点；
2. 由每一个样本点的近邻点计算出该样本点的局部重建权值矩阵；
3. 由该样本点的局部重建权值矩阵和其近邻点计算出该样本点的输出值。

　　LLE详细步骤以下： 
　　1.计算或者寻找数据点x_i的临近数据点。 
　　　　假设数据局部为平面，故能够用线性组合表示x_i，其偏差为： 
　　　　

　　　　其中w_ij表示线性重构x_i时的贡献比例。 
　　　　找到每一个样本点的K个最近邻点。 
　　2.计算构造权重并重构数据 
　　　　经过约束计算w_ij，使得不在该样本点的K个最近邻点中的构造权重都为0. 
　　　　重构权重使得重构的数据点与临近点间的旋转、缩放、平移特性保持不变，即几何特性不依赖于特定的参考框架。 
　　3.由重构样本向低维映射。（求低维嵌入） 
　　　　设zz是低维空间，找到一样数量的低维映射样本，使得： 
　　　　

　　　　最小。（不去关心ϕ，直接找z_i） 

　　流形学习优缺点： 
　　优势：1）假设流形的存在，部分解决了高维数据分布的问题。 
　　缺点：1）假设流形的存在，不能老是适合数据特色。

3、小结

　　降维方法 __ 属性选择：过滤法、包装法、嵌入法； 
　　　　　　 |_ 映射方法  __线性映射方法：PCA、FDA等 
　　　　　　　　　　　　|__非线性映射方法： 
　　　　　　　　　　　　　　　　　　　　　　|__核方法：KPCA、KFDA等 
　　　　　　　　　　　　　　　　　　　　　　|__二维化： 
　　　　　　　　　　　　　　　　　　　　　　|__流形学习：ISOMap、LLE、LPP等。 
　　　　　　　　　　　　|__其余方法：神经网络和聚类 

 

　　降维能够方便数据可视化+数据分析+数据压缩+数据提取等。 
　　各个降维方法效果图展现：