入门 | 从文本处理到自动驾驶：机器学习最经常使用的50大免费数据集

机器学习领域里有哪些开放数据集？Gengo 近日发布了一份高质量免费数据集列表，其搜索范围不只包含内容普遍（如 Kaggle），也包括高度特化的（如自动驾驶汽车专用数据集）数据集种类。

首先，在选择数据集时要记住几个重要标准：

• 数据集不能是混乱的，由于你不但愿花费大量时间整理数据。
• 数据集不该该有过多的行或者列，这样才能容易处理。
• 数据越干净越好——清理大型数据集可能会很是耗时。
• 该数据集能够用于回答一些有趣的问题。

这样的话，让咱们看看能找到点什么？

查找数据集

Kaggle：一个数据科学竞赛网站，其中包含大量外部贡献的有趣数据集。你能够在它长长的列表中（www.kaggle.com/datasets）找到各类小众数据集，从拉面的评分、篮球数据，到西雅图的宠物牌照。

UCI Machine Learning Repository：它是网络中最古老的数据集源之一，是寻找各类有趣数据集的第一选择。在这里，尽管数据集都是用户自行贡献的，但清洁程度仍然很高。此外，你能够直接从 UCI Machine Learning Repository 上下载数据，无需注册。

通用数据集

公共政府数据集

Data.gov：这个网站能够从多个美国政府机构下载数据，从政府预算到学校成绩。不过要注意：其中的大部分数据须要进一步研究。

连接：www.data.gov/

Food Environment Atlas：包含有关本地食物选择如何影响美国饮食习惯的数据。

连接：

catalog.data.gov/dataset/foo…

School system finances：美国学校系统财务情况调查。

连接：

catalog.data.gov/dataset/ann…

Chronic disease data：美国各地慢性病指标数据。

连接：

catalog.data.gov/dataset/u-s…

The US National Center for Education Statistics：美国和世界各地教育机构和教育人口统计数据。

连接：nces.ed.gov/

The UK Data Centre：英国最大的社会、经济和人口数据收集。

连接：www.ukdataservice.ac.uk/

Data USA：美国公共数据的全面可视化。

连接：datausa.io/

金融类

Quandl：很好的财经数据来源——有助于创建预测经济指标或股票价格的模型。

连接：www.quandl.com/

World Bank Open Data：涵盖人口统计和世界各地大量经济和发展指标的数据集。

连接：data.worldbank.org/

IMF Data：国际货币基金组织公布有关国际金融、债务利率、外汇储备、商品价格和投资的数据。

连接：www.imf.org/en/Data

Financial Times Market Data：世界金融市场的最新信息，包括股票价格指数、商品和外汇。

连接：markets.ft.com/data/

Google Trends：观察和分析有关互联网搜索活动和世界各地新闻故事趋势的数据。

连接：

www.google.com/trends?q=go…

AmericanEconomic Association (AEA)：寻找美国宏观经济数据的来源。

连接：www.aeaweb.org/resources/d…

机器学习数据集

图像

Labelme：注释图像的大数据集。

连接：

labelme.csail.mit.edu/Release3.0/…

ImageNet：著名的 ImageNet，由斯坦福大学教授李飞飞等人发起，它是面向新算法的真实图像数据集。根据 WordNet 层次结构来组织，其中层次结构的每一个节点都由成百上千个图像来描述。

连接：image-net.org/

LSUN：场景理解和许多辅助任务（房间布局估计、显著性预测等）。

连接：lsun.cs.princeton.edu/2016/

MS COCO：ImageNet 以外另外一个经常使用的图像数据集，包含通用图像理解和注释。

连接：cocodataset.org/

COIL100：100 个不一样的物体在 360°旋转中以每一个角度成像。

连接：

www1.cs.columbia.edu/CAVE/softwa…

Visual Genome：很是详细的视觉知识库，配有约 100K 个图像的注释。

连接：visualgenome.org/

Google's Open Images：Creative Commons 下的 900 万个图片的网址集合，「已经标注了跨越 6000 多个类别的标签」。

连接：

research.googleblog.com/2016/09/int…

Labelled Faces in the Wild：13000 张贴有标签的人脸图像，用于开发涉及人脸识别的应用。

连接：vis-www.cs.umass.edu/lfw/

Stanford Dogs Dataset：包含 20580 个图像和 120 个不一样品种的狗类别。

连接：

vision.stanford.edu/aditya86/Im…

Indoor Scene Recognition：很是具体的数据集，适用于大多数场景识别模型，由于后者在「外部」表现更好。包含 67 个室内类别，总共 15620 个图像。

连接：

web.mit.edu/torralba/ww…

情感分析

Multidomain Sentiment analysis dataset：有点旧的一个数据集，以亚马逊的产品评论为特点。

连接：

www.cs.jhu.edu/~mdredze/da…

IMDB reviews：用于二进制情感分类的较旧的、相对较小的数据集，具备 25000 个电影评论。

连接：

ai.stanford.edu/~amaas/data…

Stanford Sentiment Treebank：带有情感注释的标准情感数据集。

连接：

nlp.stanford.edu/sentiment/c…

Sentiment140：一个流行的数据集，使用 16 万条预先删除表情符号的推文

连接：help.sentiment140.com/for-student…

Twitter US Airline Sentiment：2015 年 2 月以来美国航空公司的推特数据，分为正面、负面和中性。

连接：

www.kaggle.com/crowdflower…

天然语言处理

Enron Dataset：Enron 公司高层管理人员的电子邮件数据，整理成文件夹。

连接：www.cs.cmu.edu/~./enron/

Amazon Reviews：包含来自亚马逊长达 18 年的约 3500 万条评论。数据包括产品和用户信息、评级和明文审查。

连接：snap.stanford.edu/data/web-Am…

Google Books Ngrams：Google 书籍中的词聚集合。

连接：

aws.amazon.com/cn/datasets…

Blogger Corpus：从 blogger . com 收集的 681288 篇博客文章。每一个博客至少包含 200 个经常使用英语单词。

连接：

u.cs.biu.ac.il/~koppel/Blo…

Wikipedia Links data：维基百科全文。数据集包含 400 多万篇文章中的近 19 亿字。你能够根据单词、短语或段落自己的一部分进行搜索。

连接：code.google.com/p/wiki-link…

Gutenberg eBooks List：古腾堡计划电子书注释清单。

连接：

www.gutenberg.org/wiki/Gutenb…

Hansards text chunks of Canadian Parliament：加拿大第 36 届国会记录 130 万对文本。

连接：www.isi.edu/natural-lan…

Jeopardy：机智问答节目 Jeopardy 中存档的 20 多万个问题。

连接：

www.reddit.com/r/datasets/…

SMS Spam Collection in English：由 5574 条英文短信垃圾邮件组成的数据集

连接：

www.dt.fee.unicamp.br/~tiago/smss…

Yelp Reviews：Yelp 发布的开放数据集包含 500 多万条评论。

连接：www.yelp.com/dataset

UCI's Spambase：大型垃圾邮件数据集，可用于垃圾邮件过滤。

连接：

archive.ics.uci.edu/ml/datasets…

自动驾驶

Berkeley DeepDrive BDD100k：目前最大的自动驾驶人工智能数据集。包含 100000 多段视频，内容涉及一天中不一样时间和天气条件下 1100 多小时的驾驶体验。注释图像来自纽约和旧金山地区。

连接：bdd-data.berkeley.edu/

Baidu Apolloscapes：百度 Apollo 计划开放的大规模自动驾驶数据集。它定义了 26 个不一样语义项目，如汽车、自行车、行人、建筑物、路灯等。

连接：apolloscape.auto/

Comma.ai：7 小时以上的公路行驶体验。详细信息包括车速、加速度、转向角和 GPS 坐标。

连接：archive.org/details/com…

Oxford's Robotic Car：一年内在英国牛津同一条路线重复 100 屡次的行驶。数据集捕捉天气、交通和行人的不一样组合，以及建筑和道路工程等长期变化。

连接：robotcar-dataset.robots.ox.ac.uk/

Cityscape Dataset：记录 50 个不一样城市街道场景的大型数据集。

连接：www.cityscapes-dataset.com/

CSSAD Dataset：该数据集可用于自主车辆的感知和导航。数据集在发达国家的道路上出现严重误差。

连接：

aplicaciones.cimat.mx/Personal/jb…

KUL Belgium Traffic Sign Dataset：比利时佛兰德区数以千计大相径庭的超过 10000 个的交通标志标注。

连接：

www.vision.ee.ethz.ch/~timofter/t…

MIT AGE Lab：在 AgeLab 收集的 1000 多个小时的多传感器驱动数据集样本。

连接：lexfridman.com/carsync/

LISA: Laboratory for Intelligent & Safe Automobiles, UC San Diego Datasets：此数据集包括交通标志、车辆检测、交通灯和轨迹模式。

关注公众帐号

【飞马会】

▼

往期福利关注飞马会公众号，回复对应关键词打包下载学习资料；回复“入群”，加入飞马网AI、大数据、项目经理学习群，和优秀的人一块儿成长！

微软大牛人工智能系列课

（扫码试听或订阅）

m.qlchat.com/live/channe… (二维码自动识别)

回复 数字“2”机器学习 & 数据科学必读的经典书籍，内附资料包！

回复 数字“3”走进AI & ML：从基本的统计学到机器学习书单（附PDF下载）

回复 数字“12”小白| Python+Matlab+机器学习+深度神经网络+理论+实践+视频+课件+源码，附下载！

回复 数字“13”大数据技术教程+书籍+Hadoop视频+大数据研报+科普类书籍

回复 数字“14”小白| 机器学习和深度学习必读书籍+机器学习实战视频/PPT+大数据分析书籍推荐！

回复 数字“16”100G Python从入门到精通！自学必备全套视频教程+python经典书籍！

回复 数字“18”526份行业报告+白皮书：AI人工智能、机器人、智能出行、智能家居、物联网、VR/AR、 区块链等（附下载）

回复 数字“19”800G人工智能学习资料:AI电子书+Python语言入门+教程+机器学习等限时免费领取！

回复 数字“20”17张思惟导图，一网打尽机器学习统计基础（附下载）

回复 数字“22”吴恩达新书，教你构建机器学习项目：《Machine Learning Yearning》

回复 数字“23”机器学习：怎样才能作到从入门到不放弃？（内含福利）

回复 数字“24”限时下载 | 132G编程资料：Python、JAVA、C，C++、机器人编程、PLC，入门到精通~

回复 数字“25”限资源 | 177G Python/机器学习/深度学习/算法/TensorFlow等视频，涵盖入门/中级/项目各阶段！

回复 数字“27”资源 | 吴恩达斯坦福CS230深度学习课程全套资料放出（附下载）

回复 人工智能下载《FMI人工智能与大数据峰会嘉宾演讲PPT》

回复 AI 江湖下载《十大AI江湖领域》

回复 ML实践下载《机器学习实践经验指导（英文版）》

回复 DL论文下载《深度学习100篇以上论文资料》

回复 算法 下载《数据挖掘十大经典算法》

回复 6.10 下载《6.10饿了么&飞马网项目管理实践PPT》