12篇文章带你逛遍主流分割网络

 

文章发布于公号【数智物语】 （ID：decision_engine），关注公号不错过每一篇干货。

 

 

 

做者 | 孙叔桥

来源 | 有三AI

 

本文的12篇文章总结了当前主流的分割网络及其结构，涵盖从编解码结构到解码器设计；从感觉野到多尺度融合；从CNN到RNN与CRF；从2D分割到3D分割；从语义分割到实例分割和全景分割网络，感兴趣的朋友能够仔细研读每一篇文章。

 

01FCN

 

Fully Convolutional Network（FCN）是神经网络用于图像分割任务的鼻祖，后续提出的大部分基于编解码结构的图像分割网络都是从FCN上发展、改进而来的。

 

FCN用卷积层替换了分类网络结构中的全链接层，从而获得稠密的分割结果，实现端到端训练。

 

同时，网络还将不一样尺度下的特征信息进行融合，实现更细节的图像分割。

 

• 【图像分割模型】从FCN提及

 

02SegNet

 

SegNet在FCN的基础上增长了解码器，造成目前分割任务中最流行的编解码结构，并给出了不一样解码器对效果的影响和缘由。

 

此外，因为应用了基于位置信息的加码过程，相比较FCN而言，SegNet中的对应结构的体量要小得多。

 

• 【图像分割模型】编解码结构SegNet

 

03空洞卷积

 

编解码结构中，为了平衡空间尺寸与计算量，同时增大网络结构的感觉野，一般会对输入图像进行必定的下采样。为了恢复分割结果的空间分辨率，解码器每每须要应用上采样或反卷积。

 

可是，基于插值的上采样效果一般不理想，而反卷积操做则增长了计算量。基于此，DeepLab中就提出了“空洞卷积”的概念，在不增长参数个数的基础上，实现感觉野与分辨率的控制。

 

• 【分割模型解读】感觉野与分辨率的控制术—空洞卷积

 

04ENet

 

图像分割的任务最终仍是要落脚于实际应用，而此前的网络结构最快也只能达到1fps，远不及实时所须要的10fps。

 

ENet基于空洞卷积，实现了NVIDIA TX1上分辨率480x320下的21.1fps。

 

此外，文中还介绍了设计实时网络结构所须要考虑的6个重要内容。

 

• 【图像分割模型】快速道路场景分割—ENet

 

05CRFasRNN

 

在许多计算机视觉任务中，后处理操做可以有效提高算法的质量。而在众多后处理方法中，条件随机场（CRF）的效果名列前茅。

 

然而，CRF的理论性强，应用起来不方便。所以，CRFasRNN中提出以RNN的形式实现CRF的解决方案，从而让基于CRF的后处理变得简单。

 

• 【图像分割模型】以RNN形式作CRF后处理—CRFasRNN

 

06PSPNet

 

不一样感觉野下所带来的上下文信息对图像分割而言十分重要，每每感觉野选择的恰当性会直接影响最终的分割效果，这种影响对极端尺寸（极大和极小）目标表现地尤其明显。

 

为了在同一级别下融合多尺度下的上下文信息，PSPNet提出了池化金字塔结构，从而实现了能够理解目标所处环境的图像分割。

 

• 【图像分割模型】多感觉野的金字塔结构—PSPNet

 

07ParseNet

 

尽管从网络结构看，有些网络的理论感觉野可以达到很是大，但实际上，理论感觉野并不能等同于实际感觉野，其覆盖和利用的信息也不够完整。

 

基于这个发现，ParseNet提出了基于池化的全局特征利用，从而实现全局特征与局部特征融合下的图像分割。

 

文中也介绍了如何有效融合两种特征，并利用好融合特征。

 

• 【图像分割模型】全局特征与局部特征的交响曲—ParseNet

 

08RefineNet

 

尽管前面的特征融合方法可以恢复在计算过程当中被降低的空间分辨率，可是这种恢复每每没有利用完整的原始空间信息，从而致使最终结果中的信息丢失。

 

基于此，RefineNet设计了空间分辨率的恢复结构，实现了基于残差卷积模块（RCU）、多分辨率融合模块（MRF）和串联残差池化模块（CRP）下的高精度图像分割。

 

• 【图像分割模型】多分辨率特征融合—RefineNet

 

09ReSeg

 

尽管CNN的效果不错，可是其须要依赖人工指定的核函数实现计算，从而限制了上下文的处理能力。所以，ReSeg提出基于双向循环神经网络（BRNN）实现分割，来克服这种不足。

 

在ReNet的基础上，ReSeg经过依次扫描互相垂直的两个方向，实现不一样时序下的特征提取。

 

• 【图像分割模型】用BRNN作分割—ReSeg

 

10LSTM-CF

 

除了单纯基于2D的RGB图像的分割外，图像分割任务的完成还能够利用深度信息进行辅助，从而实现纹理信息下没法判断的分割。

 

LSTM-CF基于ReNet和空洞卷积，实现结合了深度信息的图像分割。为精度提高和深度信息利用提供了一种思路。

 

• 【图像分割模型】BRNN下的RGB-D分割—LSTM-CF

 

11DeepMask

 

除了语义分割，图像分割中还有另外两种类别的任务：实例分割和全景分割。

 

咱们经过DeepMask，给出了实例分割下的网络的设计思路。DeepMask能够同时实现前背景分割、前景语义分割和前景实例分割。

 

• 【图像分割模型】实例分割模型—DeepMask

 

12全景分割

 

语义分割与实例分割任务虽然类似，可是因为度量不一样，两者没法直接结合。为了实现整图内things类别和stuff类别的同时分割，全景分割任务提出了新的度量。

 

全景分割任务下，图像内的每一个像素点都有其对应的语义标签和实例标签（things类别），从而可以最大程度上地理解整幅图像。

 

• 【图像分割模型】全景分割是什么？

 

 

 

星标我，天天多一点智慧