论文学习笔记 - 高光谱 和 LiDAR 融合分类合集

• A³CLNN: Spatial, Spectral and Multiscale Attention ConvLSTM Neural Network for Multisource Remote Sensing Data Classification

有效利用信息多个数据源的问题已成为遥感领域一个相关但具备挑战性的研究课题。在本文中，咱们提出了一种新的方法来利用两个数据源的互补性：高光谱图像（HSI）和光检测与测距（LiDAR）数据。具体来讲，咱们开发了一种新的双通道空间，频谱和多尺度注意力卷积长短时间记忆神经网络（称为双通道A3CLNN），用于特征提取和多源遥感数据分类。首先针对HSI和LiDAR数据设计空间，光谱和多尺度注意机制，以便学习光谱和空间加强的特征表示并表明不一样类别的多尺度信息。在设计的融合网络中，使用了一种新颖的复合注意力学习机制（结合了三级融合策略）来彻底整合这两个数据源中的功能。最后，受转学的想法启发，设计了一种新颖的逐步训练策略以产生最终的分类结果。咱们在多个多源遥感数据集上进行的实验结果代表，新提出的双通道A3CLNN具备比其余最新方法更好的特征表示能力（致使更具竞争力的分类性能）。

• Deep Encoder-Decoder Networks for Classification of Hyperspectral and LiDAR Data

深度学习（DL）因为其强大的数据表示能力而受到了愈来愈多的关注（RS）。特别是，已证实深度模型对于基于单个给定模态的RS数据分类有效。然而，因为缺少特征多样性，在单一模式下，识别材料的能力仍然受到限制。为克服此限制，咱们经过遵循深层编码器-解码器网络体系结构（简称EndNet）来提供一种简单而有效的多峰DL基线，以对高光谱和光检测与测距（LiDAR）数据进行分类。 EndNet经过强制融合功能来依次重构多模式输入，从而融合了多模式信息。与一些常规且普遍使用的融合策略（例如，早期融合，中间融合和后期融合）相比，这种重构策略可以更好地跨模态激活神经元。在两个流行的高光谱和LiDAR数据集上进行的普遍实验证实，与高光谱LiDAR分类任务中的几个最新基准相比，提议的EndNet具备优越性和有效性。这些代码将在https://github.com/danfenghong/IEEE_GRSL_EndNet上可用，从而为RS社区作出了贡献。

• FusAtNet: Dual Attention based SpectroSpatial Multimodal Fusion Network for Hyperspectral and LiDAR Classification

随着传感技术的最新进展，多模态数据将可轻松用于各类应用，尤为是在遥感（RS）中，在遥感中，许多数据类型如多光谱图像（MSI），高光谱图像（HSI），Li DAR等。可用。这些多源数据集的有效融合变得愈来愈重要，由于这些多模态特征已经显示出能够生成高度准确的土地覆盖图。可是，考虑到数据中涉及的冗余以及多种模式之间的较大域差别，在RS上下文中进行融合是不平凡的。另外，针对不一样模态的特征提取模块之间很难相互影响，这进一步限制了它们的语义相关性。做为补救措施，本文提出了一种特征融合和提取框架工做，即FusAtNet，用于HSI和LiDAR数据的集体土地覆盖分类。所提出的框架有效地利用了HSI模态，经过突出显示其自身光谱特征的“自我注意”机制来生成注意图。一样，同时使用“交叉注意”方法来利用LiDAR派生的注意地图，该地图强调了HSI的空间特征。而后，与原始数据一块儿进一步探索这些细心的光谱和空间表示，以得到模态特定的特征嵌入。如此得到的面向模式的联合光谱空间信息随后被用于执行土地覆盖分类任务。对三个HSI LiDAR数据集的实验评估代表，所提出的方法达到了最新的分类性能，其中包括在休斯顿大学（Data Fusion Contest-2013）上可用的最大的HSI-LiDAR数据集。多峰特征融合的分类方法。

• Multiple Feature-Based Superpixel-Level Decision Fusion for Hyperspectral and LiDAR Data Classification

遥感传感器数量的迅速增长使开发多源特征提取和融合技术成为可能，从而提升了表面材料的分类精度。据报道，光检测和测距（LiDAR）数据能够为高光谱图像（HSI）提供补充信息。本文提出了一种基于多特征的超像素级决策融合（MFSuDF）方法，用于HSI和LiDAR数据分类。具体而言，首先设计了超像素制导核主成分分析（KPCA）并将其应用于HSI，以减少尺寸并压缩噪声影响。接下来，分别对KPCA下降的HSI和LiDAR数据采用2-D和3-D Gabor滤波器，以获取判别式Gabor特征，而且将幅度和相位信息都考虑在内。三种不一样的模块，包括基于原始数据的特征多维数据集（串联的KPCA减小的HSI和LiDAR数据），Gabor幅度特征多维数据集和Gabor相位特征多维数据集（从KPCA下降的HSI和所以能够实现LiDAR数据）。此后，引入随机森林（RF）分类器和象限比特编码（QBC）来分别完成对上述三个提取的特征立方体的分类任务。或者，经过在组合的HSI和LiDAR数据上利用多通道简单非迭代聚类（SNIC）和熵率超像素分割（ERS）算法生成两个超像素图，而后将其用于对三个分类图进行正则化。最后，结合了基于加权多数投票的决策融合策略，以有效地加强多源数据的联合使用。所以，建议的方法称为MFSuDF。在三个真实的数据集上进行了一系列实验，以证实所提出的MFSuDF方法的有效性。实验结果代表，当每一个样本只有三个样本时，咱们的MFSuDF能够分别对休斯敦，特伦托和密苏里大学和佛罗里达大学（MUUFL）Gulport数据集分别达到73.64％，93.88％和74.11％的总体精度。

• Joint Classification of Hyperspectral and LiDAR Data Using Hierarchical Random Walk and Deep CNN Architecture

使用多传感器数据进行地球观测愈来愈引发人们的注意。融合遥感高光谱图像和光检测和测距（LiDAR）数据有助于提升应用程序性能。在本文中，使用有效的分层随机游走网络（HRWN）研究了高光谱图像和LiDAR数据的联合分类。在提出的HRWN中，首先开发了双通道卷积神经网络（CNN）架构来捕获光谱和空间特征。提出了一个像素方向的亲和度分支，以从LiDAR数据中捕获具备不一样海拔信息的类之间的关系，并确认分类的空间对比度。而后在设计的分层随机游走层中，双通道CNN的预测分布充当全局先验，而逐像素亲和力反映了像素对的局部类似性，这在网络的更深层中实现了空间一致性。最后，经过计算几率分布得到分类图。经过三个真实的多传感器遥感数据验证的实验结果代表，所提出的HRWN明显优于其余最新技术。例如，两个分支的CNN分类器在休斯顿大学校园数据集上的准确性达到88.91％，而拟议的HRWN分类器得到93.61％的准确性，从而提升了约5％。

• Fusion of Multispectral LiDAR, Hyperspectral, and RGB Data for Urban Land Cover Classification

随着监视城市区域的重要性愈来愈高，出现了一个问题，即最适合解决相应挑战的传感器。 这封信提出了在随机森林（RF）框架内进行新颖的节点测试的方法，使它们能够单独或组合地将其应用于光学RGB图像，高光谱图像以及光检测和测距（LiDAR）数据。 这不只容许在不进行预处理或特征提取的状况下得出许多相关城市类别的准确分类结果，并且还能够洞悉哪一种传感器能够提供最有意义的数据来解决给定的分类任务。 尽管仅基于一小部分训练样本，但在公开基准数据集上得到的结果要优于经过深度学习方法得到的结果。

• Classification of Hyperspectral and LiDAR Data Using Coupled CNNs

论文学习笔记 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

• Hyperspectral and LiDAR Classification With Semisupervised Graph Fusion

为了融合高光谱和光检测与测距（LiDAR），咱们提出了一种半监督图融合（SSGF）方法。 咱们将形态滤波器应用于LiDAR和高光谱数据的前几个份量，分别对高度和空间信息进行建模。 而后，将拟议的SSGF用于将光谱，高程和空间特征投影到较低的子空间上以得到新特征。 特别地，SSGF的目的是经过使用标记和未标记的样原本最大化类分离能力并保留局部邻居引擎盖结构。 来自2013年IEEE地球科学与遥感学会（GRSS）数据融合竞赛的高光谱和LiDAR数据的实验结果证实了SSGF的优越性。

• Feature Extraction for Classification of Hyperspectral and LiDAR Data Using Patch-to-Patch CNN

多传感器融合在与地球观测有关的应用中很是重要。例如，高光谱图像（HSI）提供了丰富的光谱信息，而光检测和测距（LiDAR）数据提供了高程信息，而且将HSI和LiDAR数据一块儿使用能够实现更好的分类性能。本文提出了一种无监督的特征提取框架，称为斑对斑卷积神经网络（PToP CNN），用于高光谱和LiDAR数据的协同分类。更具体地说，首先开发了三塔式PToP映射，以寻求从HSI到LiDAR数据的准确率表示，旨在合并两个不一样来源之间的多尺度特征。而后，经过对设计的PToP CNN的隐藏层进行光栅化，能够将提取的特征具备深融合的特征。所以，来自不一样隐藏层的特征将被串联成一个堆叠向量，并被馈送到三个彻底链接的层中。为了验证所提出分类框架的有效性，对两个基准遥感数据集进行了实验。实验结果代表，与某些最新的分类器（例如，两分支CNN和上下文CNN）相比，该方法可提供更好的性能。