【python实现网络爬虫（5）】第一个Scrapy爬虫实例项目（Scrapy原理及Scrapy爬取名言名句网站信息）

Scrapy介绍 总共有五部分组成的：具体的流程可看图示css 引擎、调度器、下载器、蜘蛛和项目管道 html 爬取流程 针对于每一个URL，python Scheduler -> Downloader -> Spider ->web ① 若是返回的是新的URL，就会返回Schedulershell ② 若是是须要保存的数据，则会被放到item pipeline里面网络 Scrapy安装 在命令行

>>阅读原文<<