scrapy爬虫架构介绍和初试

1、scrapy简介 Scrapy 是一套基于Twisted的异步处理框架，是纯python实现的爬虫框架，用户只须要定制开发几个模块就能够轻松的实现一个爬虫，用来抓取网页内容或者各类图片。下图显示了Scrapy的大致架构，其中包含了scheduler、item pipeline、downloader、spider以及engine这几个组件模块，而其中的绿色箭头则说明了整套系统的数据处理流程。ht

>>阅读原文<<