Scrapy爬虫的暂停和启动

scrapy的每个爬虫，暂停时能够记录暂停状态以及爬取了哪些url，重启时能够从暂停状态开始爬取过的URL不在爬取

实现暂停与重启记录状态

方法一：

1、首先cd进入到scrapy项目里（固然你也能够经过编写脚本Python文件直接在pycharm中运行）

2、在scrapy项目里建立保存记录信息的文件夹

3、执行命令：

　　scrapy crawl 爬虫名称 -s JOBDIR=保存记录信息的路径

　　如：scrapy crawl cnblogs -s JOBDIR=zant/001

　　执行命令会启动指定爬虫，而且记录状态到指定目录

爬虫已经启动，咱们能够按键盘上的ctrl+c中止爬虫，中止后咱们看一下记录文件夹，会多出3个文件，其中的requests.queue文件夹里的p0文件就是URL记录文件，这个文件存在就说明还有未完成的URL，当全部URL完成后会自动删除此文件

当咱们从新执行命令：scrapy crawl cnblogs -s JOBDIR=zant/001  时爬虫会根据p0文件从中止的地方开始继续爬取。

 

方法二：

在settings.py文件里加入下面的代码： 

JOBDIR='sharejs.com'

使用命令scrapy crawl 爬虫名，就会自动生成一个sharejs.com的目录，而后将工做列表放到这个文件夹里