有哪些网站用爬虫爬取能获得颇有价值的数据(转)

想作数据，首先从获取数据开始。可是对于须要获取什么数据，数据能够干什么，不少人仍是一头雾水，知乎达人林骏翔给出了参考。本文来林骏翔在知乎的回答，已获受权，转载请联系林骏翔。

一大波数据来袭!题主问了有什么网站，能用来作什么。我给出几个API网站吧，作APP用的可能比较多，不过也能够用在平常生活中。

1、生活服务

手机话费充值。

天气查询。

快递查询。

健康食谱。

查医院。

水电煤缴费。

电影大全。

谜语、歇后语、脑筋急转弯。

音乐搜索。

健康知识。

百度糯米、团购等信息。

彩票开奖

以上接口都来自网站：http://www.apix.cn/services/category

细心的人会发现，这些功能简直是遍地都是啊，支付宝、微信什么的一大堆，哪用那么麻烦!是的，但我相信这些可能为一些不太了解相关信息的人提供了帮助。不过，虽然这些功能不少APP都有，若是本身有空闲时间又懂得编程，不喜欢别人的UI设计，本身作一作也是挺好玩的。好比：生活枯燥了，把这些谜语歇后语等根据我的喜爱定时推送到本身的手机，放松身心;把一些健康小知识在空闲时间推送给本身，提醒本身……

国内相似的网站还有：

API数据接口_开发者数据定制https://www.juhe.cn/

API Store_为开发者提供最全面的API服务http://apistore.baidu.com/

API数据接口_免费数据调用-91查|91cha.comhttp://www.91cha.com/

除此以外还有一些门户网站提供了一些API接口，好比豆瓣、新浪、百度等等。

2、金融数据

1.股票

①新浪财经

最多人用的就是新浪财经了，由于它是免费的，而且使用起来也不难。如下是网上找的教程：获取历史和实时股票数据接口(http://www.cnblogs.com/seacryfly/articles/stock.html)

②东方财富网

网站提供了大量信息，也是基本面投资者的好去处。能够查看财务指标或者根据财务指标选股(如净资产收益率)： >

这些都是很好的投资参考，固然还有其它功能有对应的API，能够本身分析一下。

③中财网

http://data.cfi.cn/cfidata.aspx提供各类产品的数据

(国内不少功能相似网站，如和讯、网易财经、雪球等等，具体的我没有一一试验就不放上来了，各位能够本身去试试，下同。)

2.大宗商品

①黄金头条——用资讯帮你赚钱http://www.goldtoutiao.com/

这里提供了各类大宗商品的行情，也能够分析获取。包括技术分析方面。

②固然还有外国网站：http://www.investing.com/

3.美股等综合类(其实新浪财经和东方财富等也算是国内综合的了，就不一一列举了)

①Wind资讯。不少机构用的都是这里的数据，固然普通我的是拿不到的，不过若是你是财经院校的学生，他们会提供免费的数据。详见官网。

②MarketData Feed and API

(http://www.xignite.com/)外国网站，提供了大量数据，付费。有试用期。

③Quandl Financial and Economic Data

(https://www.quandl.com/)同上。部分免费。

④96Stocks APIs: Bloomberg, NASDAQ and E*TRADE

外国网站整合的96个股票API合集，能够看看。

⑤雅虎财经http://www.finance.yahoo.com/

香港版https://hk.finance.yahoo.com/

下面提到的Quandl网站有一个他们本身的Python库，叫Quandl，惋惜也是收费的。

pip install Quandl

http://tushare.org/fundamental.html#id4 国内好心人作的开源财经数据接口(以为好的能够捐助一下)。这里几乎能够获取到A股的全部信息了，还包括一些经济数据。重点是他不只免费，还提供了一个Python库tushare。

3、其它

撇去上面的API不说，若是单单爬取网页上的内容下来，那就太多能够爬的了。

如：1.爬取网站上的图片。包括贴吧、知乎、Tumblr、轮子哥、XXX(你懂的)。

2.爬取影评、电影资讯、图书等等。好比豆瓣电影。轻轻松松掌握好书好电影。

3.爬取社交网络。好比新浪微博，Twitter。(Twitter提供了API，能够提交关键字等信息爬取搜索结果中的每一条内容。)爬完能够对整个社交网络群体作个分析，情绪、做息、区域……

4.一些网站有你喜欢的文章或者帖子，可是他们没有APP或者是APP作得不友好，你能够直接爬取页面信息推送到手机上。

5.作一个微信公众号。有了上面那么多数据，还怕公众号没东西?生活服务、选股器、行情分析、文章推送等等等。