python爬虫定时增量爬取数据

解决要点： 1.定时更新 2.增量爬取 以上两个技术关键点均可基于scrapy开源爬虫框架扩充解决 解决 1.定时爬取 在linux下使用crontab来执行scrapy定时爬取的需求。 Crontab命令是Unix系统和类Unix系统中，用来设置周期性执行的指令。该命令从标准输入设备读取指令，并将其存放在“Crontab”文件中，以供后期读取和执行。Crontab所存的指令，被守护进程**。cr

>>阅读原文<<