scrapy框架的基本使用

1、使用场景 在须要爬取的数据量极大的状况下，建议使用scrapy框架。性能好。php 2、scrapy工做原理 engine 引擎，相似于一个中间件，负责控制数据流在系统中的全部组件之间流动，能够理解为“传话者” spider 爬虫，负责解析response和提取Item downloader 下载器，负责下载网页数据给引擎 scheduler 调度器，负责将url入队列，默认去掉重复的url

>>阅读原文<<