（转载）深度学习数据集

本文转载自：http://blog.csdn.net/qq_26898461/article/details/50593328
海量数据（又称大数据）已经成为各大互联网企业面临的最大问题，如何处理海量数据，提供更好的解决方案，是目前至关热门的一个话题。相似MapReduce、 Hadoop等架构的广泛推广，你们都在构建本身的大数据处理，大数据分析平台。

相应之下，目前对于海量数据处理人才的需求也在不断增多，此类人才可谓煊赫一时！愈来愈多的开发者把目光转移到海量数据的处理上。可是不是全部人都能真正接触到，或者有机会去处理海量数据的，因此就须要一些公开的海量数据集来研究。

在Quora上有人就问到，如何获取海量数据集。此问题获得了不少人的关注。具体能够看看回答，数据集的种类多种多样，有化学分析，基因遗传等等，从中你确定能获得本身想要个数据集。
Where can I get large datasets open to the public?

先来个不能错过的数据集网站（深度学习者的福音）：
http://deeplearning.net/datasets/**

首先说说几个收集数据集的网站：
一、Public Data Sets on Amazon Web Services (AWS)
http://aws.amazon.com/datasets
Amazon从2008年开始就为开发者提供几十TB的开发数据。

二、Yahoo! Webscope
http://webscope.sandbox.yahoo.com/index.php

三、Konect is a collection of network datasets
http://konect.uni-koblenz.de/

四、Stanford Large Network Dataset Collection
http://snap.stanford.edu/data/index.html

再就是说说几个跟互联网有关的数据集：
一、Dataset for “Statistics and Social Network of YouTube Videos”
http://netsg.cs.sfu.ca/youtubedata/

二、1998 World Cup Web Site Access Logs
http://ita.ee.lbl.gov/html/contrib/WorldCup.html
这个是1998年世界杯期间的数据集。从1998/04/26 到 1998/07/26 的92天中，发生了 1,352,804,107次请求。

三、Page view statistics for Wikimedia projects
http://dammit.lt/wikistats/

四、AOL Search Query Logs - RP
http://www.researchpipeline.com/mediawiki/index.php?title=AOL_Search_Query_Logs

五、livedoor gourmet
http://blog.livedoor.jp/techblog/archives/65836960.html

海量图像数据集：
一、ImageNet
http://www.image-net.org/
包含1400万的图像。

二、Tiny Images Dataset
http://horatio.cs.nyu.edu/mit/tiny/data/index.html
包含8000万的32x32图像。

三、 MirFlickr1M
http://press.liacs.nl/mirflickr/
Flickr中的100万的图像集。

四、 CoPhIR
http://cophir.isti.cnr.it/whatis.html
Flickr中的1亿600万的图像

五、SBU captioned photo dataset
http://dsl1.cewit.stonybrook.edu/~vicente/sbucaptions/
Flickr中的100万的图像集。

六、Large-Scale Image Annotation using Visual Synset(ICCV 2011)
http://cpl.cc.gatech.edu/projects/VisualSynset/
包含2亿图像

七、NUS-WIDE
http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm
Flickr中的27万的图像集。

八、SUN dataset
http://people.csail.mit.edu/jxiao/SUN/
包含13万的图像

九、MSRA-MM
http://research.microsoft.com/en-us/projects/msrammdata/
包含100万的图像，23000视频

十、TRECVID
http://trecvid.nist.gov/

截止目前好像尚未国内的企业或者组织开放本身的数据集。但愿也能有企业开发本身的数据集给研究人员使用，从而推进海量数据处理在国内的发展！

2014/07/07 雅虎发布超大Flickr数据集 1亿的图片+视频
http://yahoolabs.tumblr.com/post/89783581601/one-hundred-million-creative-commons-flickr-images-for

100多个有趣的数据集
http://www.csdn.net/article/2014-06-06/2820111-100-Interesting-Data-Sets-for-Statistics