Scrapy 原理

Scrapy 原理 一、原理  　　scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列程序中。 二、工作流程   　　Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 　　Scheduler(调度器): 它负责接受引擎发送

>>阅读原文<<