U-Net

U − N e t U-Net U−Net

---

• U-Net-Model（pytorch版本）

---

UNet是编码器-解码器架构，四次下采样（maxpooling)，四次上采样（转置卷积），造成了U型结构

---

应对小样本的数据集进行较快、有效地分割，可以泛化到不少应用场景中去

---

UNet结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依据)，较适用于医学图像分割。

---

• 1.一 论文导读
• 2.二 论文精读
• 3.三 代码实现
• 4.四 问题思索

《U-Net:Convolutional Networks for Biomedical Image Segmentation》
—医学图像分割卷积网络
做者：Olaf Ronneberger,etc,
单位：香港大学与德国弗莱堡大学
发表会议及时间：MICCA 2015

https://arxiv.org/abs/1505.04597

补充：ISBI挑战赛

ISBI: IEEE International Symposium on Biomedical lmaging(IEEE国际生物医学影像研讨会)
致力于涵盖全部观察规模的生物和生物医学影像的数学，算法和计算方面。ISBI是IEEE信号处理协会（SPS）和IEEE医学与生物学工程学会(EMBS）的一项联合计划。要求高质量的论文，包括图像造成和重建，图像处理和分析，动态成像，可视化，图像质量评估，大图像数据的机器学习以及物理，生物学和统计建模。
生物影像学已经在从诊断到个性化治疗再到对生物过程的机械理解的普遍应用中不断发展。对更健壮的方法以及与临床和分子数据集成的需求不断增加，该领域继续受到挑战

向下:图像尺寸下降，学习特征图向上:图像尺寸上升（还原)，输出图像分割
全部的图像分类、图像分割、目标检测等任务都包含向下的路径
然而向上的路径是图像分割任务特有的

一 论文导读

 

---

• 医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，目的是将医学图像中具备某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。

---

应用

• 处理对象∶各类不一样成像机理的医学影像，主要有X-射线成像(X-CT)、核磁共振成像(MRI)、核医学成像(NMI)和超声波成像(UI)、电子显微镜成像(EM)
• 应用方向:医疗教学、手术规划、手术仿真及各类医学研究
• 应用场景:病变检测、图像分割、图像配准及图像融合
• 应用思路∶首先对二维切片图像进行分析和处理，实现对人体器官、软组织和病变体的分割提取，而后进行三维重建和三维显示，能够辅助医生对病变体及其它感兴趣区域进行定性甚至定量的分析，从而大大提升医疗诊断的准确性和可靠性

---

难点

1．数据量少。一些挑战赛只提供不到100例的数据
2．图片尺寸大。单张图片尺寸大、分辨率高，对模型的处理速度有必定的要求
3．要求高。医学图像边界模糊、梯度复杂，对算法的分割准确度要求极高
4．多模态。以ISLES脑梗竞赛为例，其官方提供了CBF,MTT,CBV,TMAX,CTP等多种模态的数据

---

链接组学

链接组学绘制与研究神经链接组:一种刻画有机体神经系统(尤为是脑和眼）的链接方式的完整线路图。链接组学旨在全面地映射神经系统中发现的神经元网络的结构，以便更好地理解大脑如何工做。该过程须要以纳米级分辨率（一般使用电子显微镜)对3D脑组织进行成像，而后分析所获得的图像数据追踪大脑的神经节并识别各个突触链接。
因为成像的高分辨率，即便是1mm^3的脑组织也能够产生超过1,000TB
的数据.再加上这些图像中的结构可能很是微妙和复杂，构建大脑映射的主要瓶颈并非获取数据自己，而是自动解释这些数据。

---

U-net的成果及意义

• 赢得了ISBl cell tracking challenge 2015
• 速度快，对一个512*512的图像，使用一块GPU只须要不到一秒的时间
• 成为大多作医疗影像语义分割任务的baseline，也启发了大量研究者去思考U型语义分割网络
• UNet结合了低分辨率信息（提供物体类别识别依据）和高分辨率信息（提供精准分割定位依据)，较适用于医学图像分割。

二 论文精读

 

---

• 摘要

➢主要贡献:本文提出了一个网络和训练策略，使用数据加强，以便更有效的使用可用的带标签样本
➢网络结构:网络由两部分组成，定义一个收缩路径来获取全局信息，同时定义一个对称的扩张路径用以精肯定位
➢网络效果:该网络能够用不多的图片进行端到端训练，处理速度也比较快
➢实验结果:以很大的优点赢得了2015 ISBI细胞跟踪挑战赛

---

---

---

---

---

---

---

三 代码实现

 

四 问题思索