Python爬虫进阶一之爬虫框架概述

爬虫入门以后，有两条路能够走。python 一个是继续深刻学习，以及关于设计模式的一些知识，强化Python相关知识，本身动手造轮子，继续为本身的爬虫增长分布式，多线程等功能扩展。另外一条路即是学习一些优秀的框架，先把这些框架用熟，能够确保可以应付一些基本的爬虫任务，也就是所谓的解决温饱问题，而后再深刻学习它的源码等知识，进一步强化。git 框架概述 比较好用的是 Scrapy 和PySpider

>>阅读原文<<