都不知道有多少页，还爬个锤子虫？

摘要：Requests 和 Scrapy 中分别用 For 循环和 While 循环爬取不确定页数的网页。 写在前面：本文有不少超链接，建议点击底部「阅读原文」进行跳转查看。 我们通常遇到的网站页数展现形式有这么几种： 第一种是直观地显示所有页数，比如此前爬过的酷安、东方财富网， 文章见： ∞ 分析了酷安 6000 款 App，还有这么多好东西 ∞ 50 行代码爬取东方财富网百万行财务报表数据  

>>阅读原文<<