如何加快爬虫（爬取Github API的速度）

如何加快爬虫（爬取Github API的速度） 最新 爬虫出现问题，request失败后，一个项目的都会break，须要再手动爬取 解决方案： 1 logging module 2 改变while，实现队列：这页爬完了 i+1 加到队列中 ，爬取失败后从新加入队列，这样就不用每次再开启 参考：http://www.javashuo.com/article/p-oihszwbq-hg.html 3

>>阅读原文<<