完整的微博千万级数据量思路过程

单日千万级微博爬虫介绍： 我也不喜欢说废话，来救直接上，项目要求爬微博，**存成四张表**，分别是用户信息表，用户和用户关系表，微博信息表，微博和微博关系表，改成分布式爬虫可实现单日1000+的数据量，直接开始干把 准备： 首先你的准备好几百个微博帐号，并获取cookie,楼主借鉴网上不少大神的方法，也是经过访问手机端拿到cookie，http://weibo.cn,比较简单，而且验证码是四宫格，

>>阅读原文<<