【爬虫框架-scrapy】scrapy使用

scrapy框架 scrapy-项目和爬虫的创建 1.项目的创建scrapy startproject 项目名 2.爬虫的创建scrapy genspider 爬虫名 目标的主域名(进入项目文件夹后执行) 创建好的scrapy项目文件夹如下: 3.项目文件夹的介绍 scrapy-爬虫的编写 scrapy的运行过程 爬虫文件(请求的数据) → 引擎 → 调度器(对请求的数据入队) → 引擎 →下载器

>>阅读原文<<