记爬虫小分队（二）

2017年4月19日，关于简书收录专题爬取的思路。 1.首先是异步加载，这里就不多说，就是找包，下图为收录专题的加载的包。 2.可在Preview中看到json数据的格式，我们可以看到一个total_page，这个为收录专题的总页数（非常重要！！！！）。 3.url中有一串数字，我们返回简书七日热门首页，发现数字对应的是每个文章的，嘿嘿，快夸我！ 总结 先从首页抓取data-note-id构造收录

>>阅读原文<<