利用Scrapy爬取知乎用户详细信息并存至MongoDB

本节目标 本节要实现的内容有： 从一个大V用户开始，通过递归抓取粉丝列表和关注列表，实现知乎所有用户的详细信息的抓取。 将抓取到的结果存储到MongoDB，并进行去重操作。 思路分析 我们都知道每个人都有关注列表和粉丝列表，尤其对于大V来说，粉丝和关注尤其更多。 如果我们从一个大V开始，首先可以获取他的个人信息，然后我们获取他的粉丝列表和关注列表，然后遍历列表中的每一个用户，进一步抓取每一个用户的

>>阅读原文<<