爬取**相关信息

        简单说一下，我找的一个网站是kaijiang.500.com/ 下的双色球，数据是从03年第一期一直到现在都有，虽然每次都只能网页上拿一期的数据，但是反爬虫措施不强，可以很快就爬完。         我是利用了MongoDB和scrapy，这个轮子对初学者还好吧，但是用时间长了也会发现很多不足，然后就可以考虑自己造轮子了。 如果是直接使用request写，更简单~ 具体代码如下：

>>阅读原文<<