python实现scrapy定时执行爬虫

项目须要程序可以放在超算中心定时运行，因而针对scrapy写了一个定时爬虫的程序main.py ，直接放在scrapy的存储代码的目录中就能设定时间定时屡次执行。 最简单的方法：直接使用Timer类java import time import os while True: os.system("scrapy crawl News") time.sleep(86400) #每隔

>>阅读原文<<