Python爬虫scrapy系列（一）Bilibili分布式爬虫

一、背景： 爬取Bilibili用户信息及其发布过的视频信息，并进行数据清洗、分析、可视化 二、爬虫思路： 利用一个粉丝多的大v用户作为爆点，爬取用户信息、视频信息 三、数据去重问题： 利用用户粉丝的思路去爬取用户，必然会导致用户数据重复问题，我们可以巧妙地利用mongodb的存储机制，利用唯一的一个字段标识，可以既增量存储而又不重复的问题，这里我们利用用户id和视频id作为标识，数据不重复的存储

>>阅读原文<<