Scrapy常见问题

介绍下scrapy框架。 scrapy 是一个快速(fast)、高层次(high-level)的基于 python 的 web 爬虫构架，用于抓取web站点并从页面中提取结构化的数据。scrapy 使用了 Twisted异步网络库来处理网络通讯。 为什么要使用scrapy框架？scrapy框架有哪些优点？ 它更容易构建大规模的抓取项目 它异步处理请求，速度非常快 它可以使用自动调节机制自动调整爬行

>>阅读原文<<