【爬虫实战】scrapy实战：爬取知乎用户信息

简介 知乎用户信息是非常大的，本文是一个scrapy实战：怎样抓取所有知乎用户信息。 爬取的思路如下图所示： 选择一个知乎用户作为根节点 每个用户都会有关注列表 选择每一个用户的关注列表，进行递归爬取知乎用户信息 站点分析 本文以轮子哥为根节点（根节点可以随便选择），打开轮子哥的关注列表，并翻页查看关注列表: 翻页是一个AJAX请求，每页20个关注用户，并且有一些简要的用户信息 其中有一个是url

>>阅读原文<<