Scrapy框架快速入门（一）

scrapy的简介 Scrapy 使用了Twisted[‘twɪstɪd]异步网络框架，可以加快我们的下载速度。 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速的抓取。 scrapy的工作流程 模块介绍： 调度器：Scheduler，实现一个队列，存放request对象，并发送给引擎 引擎：Scrapy Engine，各功能模块之间交流通道

>>阅读原文<<