论文学习笔记 - Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

Classifification of Hyperspectral and LiDAR Data Using Coupled CNNs

来源：IEEE TGRS 2020

下载：https://arxiv.org/abs/2002.01144

Abstract

本篇论文的主要工做就是基于信息融合的分类任务。

在这篇论文中，做者经过使用两个耦合的CNN，提出一种融合高光谱和LiDAR数据的框架。设计一个CNN从高光谱数据中了解光谱空间特征，另外一个则用于捕获来自LiDAR数据。它们都由三个卷积层组成，最后两个卷积层经过参数共享策略。在融合阶段，特征级融合和决策级融合方法同时用于集成这些充足的异质特征。对于特征级融合，评估了三种不一样的融合策略，包括串联策略，最大化策略和求和策略。对于决策级融合，加权采用求和策略，肯定权重经过每一个输出的分类精度。

提出的模型根据在美国休斯顿得到的城市数据集进行评估，还有在乎大利Trento农村地区捕获的数据。在休斯顿数据中，做者的模型能够达到新记录，总体精度为96.03％。在Trento数据上，其整体精度为99.12％。这些结果充分证实了做者提出的模型的有效性。

INTRODUCTION

文中模型的数据源是两幅异质图像——高光谱图像（HSI）和激光雷达（LiDAR）图像。

HSI图像相比MSI具备更丰富的光谱信息，可是对于同一材质的物体区分性较弱，他们具备类似的光谱回应。不一样于HSI，LiDAR能够记录物体的海拔信息，可以为HSI提供补充，两者优点互补。

例如：区域中的楼房和道路由一样的混凝土结构组成，HSI图像很难区分两者之间的差异，可是LiDAR图像则能够准确区分出楼房和道路，由于他们有不一样的高度。相反，LiDAR没法区分两条用不一样材料（沥青和混凝土）组成的道路，而能够用HSI。所以，融合高光谱和LiDAR数据是一种颇有前途的方案，其性能已经获得了验证。

METHODOLOGY

做者提出的模型主要包括两个网络：用于光谱空间特征学习的HSI网络和用于海拔特征学习的LiDAR网络。
它们每一个都包含一个输入模块，一个特征学习模块和融合模块，如上图所示。在特征学习模块中，输入的HSI图像和LiDAR图像分别经过一个三层的网络结构进行特征提取，三层网络结构中的后两个卷积层权值共享。权值共享可以减小网络参数，并且有利于两个分支统一优化。特征提取后则进入信息的融合模块，在融合模块中，构造了三个分类器，每一个CNN都有一个输出层，它们的融合特征也具备输出层。

如图2所示，两组图像特征首先经过特征级融合 \(F\) 得到特征级融合特征\(F3=F1+F2\) 或者 \(F3=max(F1,F2)\)，特征级融合能够采用逐元素相加或者Max函数。而后对上述 \(F1,F2,F3\) 分别如下操做：

\[y1=softmax(W1F1), y2=softmax(W2F2), y3=softmax(W3F3), y1,y2,y3\in R^{c*1} \]

而后文中使用决策级融合 \(D\) 得到最终的融合特征：\(O=F1\odot y1+F2\odot y2+F3\odot y3\)，\(\odot\) 为加权操做。

而后 \(L1\) 表示HSI图像（\(y1\)）的交叉熵损失，\(L2\)表示LiDAR图像（\(y2\)）的交叉熵损失。\(L3\)表示融合信息（\(O\)）的交叉熵损失。因此最终的损失函数为：

\[L=\lambda1L1+\lambda2L2+L3 \]

EXPERIMENTS

CONCLUSIONS

在未来须要探索更强大的邻近提取方法，由于当前的分类图仍然存在过分平滑的问题。