图像处理基本库的学习笔记5--公共数据集，PASCAL VOC数据集，NYUD V2数据集的简介与提取，COCO2017，医学影像数据集汇总

时间 2020-10-03 标签图像处理基本学习笔记公共数据 pascal voc nyud v2 简介提取 coco2017 coco 医学影像汇总

公共数据集

《基于全卷积神经网络的图像分割算法的研究及应用》html

实验数据：本章节的公共数据集来源自计算机视觉领域的 PASCAL VOC 20十二、NYUDv二、PASCAL CONTEXT，医学数据集来自法国 IRCAD 国际医疗中心数据库中的肝脏 CT 扫描图像。git

本节按照 4：1 的比例将两个数据集分别划分红训练和测试两部分。在算法中，就会使用训练那部分完成算法网络模型的构建，在训练的过程当中，为参数赋予不一样值从而得到不一样的结果，以后利用测试集对网络模型的结果进行记录和分析。
github

计算机视觉标准数据集整理—PASCAL VOC数据集

参考文章：https://blog.csdn.net/xingwei_09/article/details/79142558web

PASCAL VOC为图像识别和分类提供了一整套标准化的优秀的数据集，从2005年到2012年每一年都会举行一场图像识别challenge。此数据集能够用于图像分类、目标检测、图像分割。
算法

包括任务

数据集简介sql

训练集由一套图像组成：每一个图像拥有一个对应的标注文件，给出了图像中出现的物体的bounding box和class label，该物体属于上述20类中的某一类。同一张图像中，可能出现属于多个类别的多个物体。数据库

全部的标注图片都有Detection须要的label，但只有部分数据有Segmentation Label。网络

VOC2007中包含9963张标注过的图片，由train/val/test三部分组成，共标注出24,640个物体。VOC2007的test数据label已经公布，以后的没有公布（只有图片，没有label）。app

对于检测任务，VOC2012的trainval/test包含08-11年的全部对应图片。 trainval有11540张图片共27450个物体。less

对于分割任务， VOC2012的trainval包含07-11年的全部对应图片， test只包含08-11。trainval有 2913张图片共6929个物体。

这些图像中的一部分图像还拥有像素级的标注，用于segmentationcompetition.

用于action classification的图片集与用于classification/detection/segmentation的图片集不相交。它们被部分地标注上了图像中人的bounding box，参考点和动做。

用于person layout taster的图像，被额外的标注上了人的身体部位（头、手、脚），其测试集与主任务（classification/detection）的测试集不相交。

数据集按1:1的比例被分为训练（验证）集和测试集。这两部分的图像中类别的分布也大体相等。

数据集文件结构

Annotation

Annotations文件夹中存放的是xml格式的标签文件，每个xml文件都对应于JPEGImages文件夹中的一张图片。

Action是下存放的是人的动做（running、jumping等等，这也是VOC challenge的一部分）

Layout下存放的是人体部位（head、hand、feet等等，这也是VOC challenge的一部分）

Main下存放的是图像物体识别的数据，总共分为20类

Segmentation下存放的是可用于分割的图片的编号

JPEGImages

JPEGImages文件夹中包含了PASCAL VOC所提供的全部的图片，包含训练图片和测试图片，共有17125张。图片均以“年份_编号.jpg”格式命名。图片的尺寸大小不一，因此在后面训练的时候须要对图片进行resize操做。

图片的像素尺寸大小不一，可是横向图的尺寸大约在500375左右，纵向图的尺寸大约在375500左右，基本不会误差超过100。（在以后的训练中，第一步就是将这些图片都resize到300300或是500500，全部原始图片不能离这个标准过远，具体resize方式能够看最下面github连接里data.py。）

SegmentationClass

这里面包含了2913张图片，每一张图片都对应JPEGImages里面的相应编号的图片。图片的像素颜色共有20种，对应20类物体。

SegmentationObject

这里面一样包含了2913张图片，图片编号都与Class里面的图片编号相同。这里面的图片和Class里面图片的区别在于，这是针对Object的。

在Class里面，一张图片里若是有多架飞机，那么会所有标注为红色。而在Object里面，同一张图片里面的飞机会被不一样颜色标注出来。

下载结果：

NYUD V2数据集的简介与提取

参考文章：https://blog.csdn.net/weixin_43915709/article/details/88774325

数据集：https://github.com/ankurhanda/nyuv2-meta-data

使用NYUDv2数据集进行语义分割的时候会发现，从官网直接下载的数据集有894类，而发如今许多论文中描述的是40类，有的也称做nyudv2-40；一些研究中也出现了13类的标签。

这里给出了40分类的label数据集：

labels40.mat，可直接进行提取# 从mat文件提取labels# 须要注意这个文件里面的格式和官方有所不一样，长宽须要互换，也就是进行转置

import cv2
import scipy.io as scio
from PIL import Image
import numpy as np
import matplotlib.pyplot as plt
import os 

dataFile = './labels40.mat'
data = 
scio.loadmat(dataFile)
labels=np.array(data["labels40"]) 

path_converted='./nyu_labels40'
if not os.path.isdir(path_converted):    os.makedirs(path_converted) 

labels_number=[]
for i in range(1449):        
    labels_number.append(labels[:,:,i].transpose((1, 0))) # 转置    
    labels_0=np.array(labels_number[i])    
    #print labels_0.shape    
    print (type(labels_0))
    
    label_img=Image.fromarray(np.uint8(labels_number[i]))    
    #label_img = label_img.rotate(270)    
    label_img = label_img.transpose(Image.ROTATE_270)     
    iconpath='./nyu_labels40/'+str('%06d'%(i+1))+'.png'
    label_img.save(iconpath, optimize=True)

下载结果：

COCO2017

参考文章：https://blog.csdn.net/qq_41847324/article/details/86224628

COCO数据集能够说是语义分割等计算机视觉任务中应用较为普遍的一个数据集，具体能够应用到物体识别、语义分割及目标检测等方面。

国内下载地址：http://fun001.f3322.net:666/share/coco2017/

COCO数据集介绍

网上关于COCO数据集的介绍多如牛毛，本文就不过多的加以介绍了，简要的介绍如下。
以COCO2014为例：
下载完COCO2014后进行解压后，目录以下：

images

train2014
  val2014
  test2014

annotations

其中，images中的文件夹各自放置了训练、验证和测试的数据集图片。annotations文件夹中放置了标签文件，能够理解为Label，简要的来讲，就是包含了某一类在图片中的具体位置的信息，
详细可见如下连接：https://blog.csdn.net/happyhorizion/article/details/77894205#semantic-scene-labeling图像分割
3、COCO数据集使用（数据载入）

所需环境为：
numpy
torch
tqdm(可视化数据载入)
os
pycocotools(coco数据集的应用API)
torchvision
PIL

医学影像数据集汇总

本文转自：https://blog.csdn.net/sinat_37842336/article/details/80582948

一、肺结节数据库LIDC-IDRI：

CSDN数据库介绍：http://blog.csdn.net/dcxhun3/article/details/54289598

数据库网址：https://wiki.cancerimagingarchive.net/display/Public/LIDC-IDRI

二、乳腺图像数据库DDSM MIAS

数据库介绍(DDSM SQL Data Base):http://deckard.mc.duke.edu/ddsm_sql/book1.html

图片格式为LJPEG须要使用对应的压缩方法对其进行解压，目前找到了xMedcon，可是不太会用，打不开相应的文件，也多是不是使用这个软件压缩的。不过这个软件能够用来转换大部分的医学图像。matlab社区上有how to open lossless jpeg file，可是其中有一些答案提供的网址不能打开，多是没有科学上网？？

数据库网址：http://figment.csee.usf.edu/Mammography/Database.html

MIAS MiniMammographic Database(来自researchgate的一个问答)：322例，尺寸：1024*1024pixel，图像数据是PGM格式，找到一个介绍和读取的博客代码使用的c，matlab问答相关

小型乳房X光数据库：http://peipa.essex.ac.uk/pix/mias/all-mias.tar.gz

这也是一个乳腺的图像数据库，可是如今尚未搞清楚下载、格式之类的：https://www.repository.cam.ac.uk/handle/1810/250394?show=full

三、医学图像问答（目前还没搞清楚干吗的，好像是一个网站的问答。暂存）

网址：http://www.dclunie.com/medical-image-faq/html/index.html

四、左心室MRI图像Cardiac MRI Dataset： http://www.cse.yorku.ca/~mridataset/

右心室MRI数据RVSC

右心室分割挑战赛（2012）：http://pagesperso.litislab.fr/cpetitjean/mr-images-and-contour-data/

五、Kaggle比赛网址：https://www.kaggle.com/

CT Medical Image Analysis Turorial这个比赛好像是分析CT纹理与患者年龄的关系。

肺癌分类比赛：https://www.kaggle.com/c/data-science-bowl-2017/data

分割肺癌(Kaggle)：https://www.kaggle.com/kmader/finding-lungs-in-ct-dataDICOM文件打开使用Sante

DICOM Free，paraview也能够打开，Mango网站：https://idoimaging.com/programs/124；anteDicom

官方下载网址：http://www.santesoft.com/win/sante-dicom-viewer-free/download.html

六、Cancer Imaging Archive这个网站能够得到一些癌症的数据库，下载下来是jnpl文件须要使用jre环境进行下载：http://www.cancerimagingarchive.net/

七、OsiriX数据库：各类医学数据，好像得注册收费的样子，还没搞清楚http://www.osirix-viewer.com/resources/dicom-image-library/

8.Github上哈佛 beamandrew机器学习和医学影像研究者-贡献的数据集https://github.com/beamandrew/medical-data

9.ISBI（生物医学成像国际研讨会）https://grand-challenge.org/All_Challenges/

10.NITRC的IBSR数据集

左心房图像分割集

心脏MRI数据集该网页包含短轴心脏MR图像数据集及其左心室心内膜和心外膜分割的基本事实。
该数据集首先被编译并用做如下论文的一部分：Alexander Andreopoulos，John K. Tsotsos，用于分析心脏MRI的形状和外观的高效和通常化统计模型，医学图像分析，第12卷，第3期，2008年6月，第335-357页。

PDF使用是免费的; 咱们恭敬地问，若是您使用此数据集，则引用上述文章做为其来源。做者要感谢多伦多儿童医院心脏放射科医师Paul Babyn博士和心脏放射学家Shi-Joon Yoo博士的数据集以及他们对该研究项目的帮助。

免责声明：数据集仅供研究之用，约克大学和参与数据集生成的研究人员均未提供担保或担保。

从33个科目得到的心脏MR图像。每一个主题的序列由沿长轴的20帧和8-15个切片组成，**总共7980个图像。对应于每一个主题x的序列位于名为sol_yxzt_patx.mat的不一样的.mat（MATLAB）文件中。**这些是未经处理的原始图像，最初存储为16位DICOM图像。下载上述序列的分段。

咱们手动分割了7980个图像中的每个，其中左心室的心内膜和心外膜都是可见的，总共5011个分割的MR图像和10022个轮廓。对应于每一个主题x的分段位于名为manual_seg_32points_patx.mat的不一样的.mat（MATLAB）文件中。每一个轮廓由像素坐标中给出的32个点描述。

两个小的MATLAB函数，用于可视化相应图像上的分割。
请参阅随附的README文件以获取其使用示例。下载包含像素间距（每像素mm）的元数据，每一个受试者序列的长轴（每片的mm）之间的间距，每一个受试者的年龄和诊断。

都看到这里了，不如点个赞哦~