爬虫进阶第一天

SCRAPY知识点 1、scrapy框架的组成部分 1.引擎engine：其余组件的通讯桥梁，相似于Controller 2.爬虫spider：爬虫程序的开始位置且数据解析也在此。 3.调度器scheduler：全部下载任务Request都会被接收， 4.下载器Download：从引擎获取请求对象，请求数据下载。 5.数据管道Pipeline：负责解析数据以后处理，如保存到mysql等 [外链图片

>>阅读原文<<