论文研读Unet++

Unet++: A Nested U-Net Architecture for Medical Image Segmentation

Unet++ 论文地址
这里仅进行简要介绍，可供读者熟悉其结构与特色，若想更为深刻的了解，能够阅读原论文和参考文献。
在计算机视觉领域，全卷积网络（FCN）是比较有名的图像分割网络，在医学图像处理方向，U-net更是一个煊赫一时的网络，基本上全部的分割问题，咱们都会拿U-Net先看一下基本的结果，而后进行修改。和FCN相比，U-Net的第一个特色是彻底对称，也就是左边和右边是很相似的，而FCN的decoder相对简单，只用了一个deconvolution的操做，以后并无跟上卷积结构。第二个区别就是skip connection，FCN用的是加操做（summation），U-Net用的是叠操做（concatenation）。它们的结构总最为经典的思路就是都使用了编码和解码（encoder-decoder）。

U-net中最为重要的三个部分就是 1. 下采样 2. 上采样 3. skip connection，其结构图以下：

该网络结构中使用下采样的理论意义是：它能够增长对输入图像的一些小扰动的鲁棒性，好比图像平移，旋转等，减小过拟合的风险，下降运算量，和增长感觉野的大小。上采样的做用是：把抽象的特征再还原解码到原图的尺寸，最终获得分割结果。

简言之就是：浅层结构能够抓取图像的一些简单的特征，好比边界，颜色；而深层结构由于感觉野大了，并且通过的卷积操做多了，能抓取到图像的一些更为高层的抽象特征。

而Unet++在原生的Unet基础上进行一些改进，主要针对了原结构中的skip connection部分。先放一张Unet++的结构图

相对于原来的Unet网络，Unet++把1～4层的U-Net全给连一块儿了。这个结构的好处就是我无论你哪一个深度的特征有效，我干脆都给你用上，让网络本身去学习不一样深度的特征的重要性。第二个好处是它共享了一个特征提取器，也就是你不须要训练一堆U-Net，而是只训练一个encoder，它的不一样层次的特征由不一样的decoder路径来还原。这个encoder依旧能够灵活的用各类不一样的backbone来代替。

Unet++主要改进就是将原来空心的U-Net填满了，优点是能够抓取不一样层次的特征，将它们经过特征叠加的方式整合，不一样层次的特征，或者说不一样大小的感觉野，对于大小不一的目标对象的敏感度是不一样的，好比，感觉野大的特征，能够很容易的识别出大物体的，可是在实际分割中，大物体边缘信息和小物体自己是很容易被深层网络一次次的降采样和一次次升采样给弄丢的，这个时候就可能须要感觉野小的特征来帮助。

除了skip connection作出的改变以外，为了可以让中间部分收到传递过来的梯度，Unet++使用了深监督(deep supervision)的方案。具体的操做就是将结构的\(x^{0,1}, x^{0,2}和x^{0,3}\)也直接链接到最后的输出。

参考文献

研习U-Net