python+ubuntu 怎么做自动定时爬虫

爬虫工程师在工作时，有时候需要做到定时爬虫，下面是代码写好之后，如何添加定时任务的过程（无论是requests还是scrapy框架爬虫，都可以使用） 1.在当前目录下增加一个可执行的脚本 requests在当前目录下， scrapy在配置文件scrapy.cfg目录下增加 脚本内容如下; 脚本内容如下; #!/bin/sh export PATH=$PATH:/home/python/.loca

>>阅读原文<<