[Scrapy学习01]——Scrapy简单介绍

1. Scrapy简介 Scrapy这个爬虫框架主要由以下组件来组成： 引擎(Scrapy): 用来处理整个系统的数据流处理, 触发事务。(是框架核心) 调度器(Scheduler): 用来接受引擎发过来的请求, 将请求放入队列中, 并在引擎再次请求的时候返回.它来决定下一个要抓取的网址是什么, 同时担负着“网址去重”这一重要工作。 下载器(Downloader): 用于下载网页内容, 并将网页内

>>阅读原文<<