配置crontab定时多任务爬虫

一、crontab 学习文档：https://www.cnblogs.com/clphp/p/6801608.html

二、编辑命令：crontab -e

     30 1 * * * cd /data/XXX/XXX/commands && /bin/sh running.sh >/dev/null &

     #天天一点半，定时执行爬虫

三、running.sh 的内容：nohup scrapy crawlall > /dev/null 2>&1 &

四、建立目录commands的crawlall.py

五、settings.py 最后加上：COMMANDS_MODULE = 'XXX.commands'