爬虫---scrapy框架

什么是scrapy： 组成部分：引擎：调度器，下载器，爬虫模块，管道存储数据，下载中间件，spider中间件 步骤：         引擎---队列--引擎，         引擎---下载----外部服务器请求源码---引擎，         引擎---爬虫提取数据item对象---引擎---pipe去重存储   安装：        cmd中进入虚拟环境workon env1        p

>>阅读原文<<