QQSpider qq空间爬虫

代码请移步GitHub：QQSpider 爬虫功能： QQSpider 使用广度优先策略爬取QQ空间中的个人信息、日志、说说、好友四个方面的信息，详细可见数据库说明。  判重使用“内存位”判重，理论上亿数量级的QQ可瞬间判重，内存只占用400M+。  爬虫速度可达到单机每天400万条数据以上（具体要考虑网速、网络带宽、稳定性等原因。我在学校是400万+，但在公司那边却只有六成的速度，普通家庭网络可

>>阅读原文<<