python爬虫框架（1）--框架概述

框架概述 其中比较好用的是 Scrapy 和PySpider。pyspider上手更简单，操做更加简便，由于它增长了 WEB 界面，写爬虫迅速，集成了phantomjs，能够用来抓取js渲染的页面。Scrapy自定义程度高，比 PySpider更底层一些，适合学习研究，须要学习的相关知识多，不过本身拿来研究分布式和多线程等等是很是合适的。html PySpider PySpider是binux作的

>>阅读原文<<