MIT-Adobe FiveK Dataset 图片自动下载

MIT-Adobe FiveK Dataset 图片自动下载

　　注：通过网友的提示，发现有更为方便的得到C修过的图片。只须要下载原始的50G的raw图片，而后在电脑上面安装light room，这个软件能够应用数据集中所记录的各个修图人员的操做数据，所以里面记录了全部五我的修过的图片数据，具体能够参考：https://github.com/yuanming-hu/exposure/wiki/Preparing-data-for-the-MIT-Adobe-FiveK-Dataset-with-Lightroom

　　MIT-Adobe FiveK是如今不少作图像加强（image enhancement）与图像修饰（image retouching）方面研究的人员常常会使用到的数据库。这个数据库中包含5000张dng格式的原始图片及分别由五个（A，B，C，D，E）专业修图人员手工修饰后的图片。关于该数据库的详细资料能够在：https://data.csail.mit.edu/graphics/fivek/上找到。博主目前也在做图像加强方面的算法，在该网站上面，虽然提供了原始图片的下载连接，可是修饰后的图片只提供了每一个图片的独立下载连接，手工对这些图片一张张下载的话，确定是一件使人抓狂的事情，所以博主打算应用一个python脚原本自动下载所须要的图片。

　　查看网页的源码，发现这些通过修饰后的图片的URL存在必定的规律，例如：由C修饰的第一张图片的URL为https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/a0001-jmac_DSC1459.tif。该地址能够划分为三部分：https://data.csail.mit.edu/graphics/fivek/img/（不变），tiff16_c（表明C修饰的图片，若是最后一个字母是D，那么就表明D所修饰的图片），a0001-jmac_DSC1459.tif（文件名）。发现这一规律以后，咱们就能够运用简单的python脚本，经过图片的文件名来将图片下载到本地。

　　数据集中全部文件的名称在下载原始图片的时候就能够下载下来，它们被分别放置在名为：filesAdobe.txt和filesAdobeMIT.txt这两个文件中。自动下载的脚本以下：

 

import os import sys from urllib.request import urlretrieve #改变当前工做路径
CURRENT_PATH="/home/luohang/PyLearn"#本文件所在路径
os.chdir(CURRENT_PATH)#改变当前路径

#存储图像名称的list
img_lst=[] #读取图片名列表
with open('filesAdobe.txt', 'r') as f: for line in f.readlines(): img_lst.append(line.rstrip("\n"))#去掉换行符
 with open('filesAdobeMIT.txt', 'r') as f: for line in f.readlines(): img_lst.append(line.rstrip("\n"))#去掉换行符

#urlretrieve 函数的回调函数，显示下载进度
def cbk(a,b,c): '''回调函数 @a:已经下载的数据包数量 @b:数据块的大小 @c:远程文件的大小 ''' per=100.0*a*b/c if per>100: per=100
    #在终端更新进度
    sys.stdout.write("progress: %.2f%% \r" % (per)) sys.stdout.flush() #根据文件的url下载图片
for i in img_lst: URL='https://data.csail.mit.edu/graphics/fivek/img/tiff16_c/'+i+'.tif'#下载由C所调整的图像(可根据须要下载其它的四类图像)
    print('Downloading '+i+':') urlretrieve(URL, '/media/luohang/软件/FiveK_C/'+i+'.tif', cbk)#将所获取的图片存储到本地的地址内

 

运行结果以下：