python之爬虫的入门06------scrapy框架

1、安装scrapy框架: pip install scrapy 2、scrapy原理图: 3、介绍: Scrapy Engine引擎 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。 调度器(Scheduler) 调度器从引擎接受request并将他们入队,以便之后引擎请求他们时提供给引擎。 下载器(Downloader) 下载器负责获取页面数据并提供给引擎,而后提供给sp
相关文章
相关标签/搜索