python 爬虫天天定时启动爬虫任务

 # coding=utf-8
import datetime
import time
def doSth():

    # 这里是执行爬虫的main程序 python

    print '爬虫要开始运转了....'
    print time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
def main(h, m):
    while True:
        now = datetime.datetime.now()
        print now.hour, now.minute
        if now.hour == h and now.minute in m:
            doSth()
        time.sleep(60)
main(10, m=[47, 48, 49, 50])

--------------------------------------华丽的分割线--------------------------------------------------python2.7

上面是本身经过sleep()定义的一个简单的定时任务,在正真的生产中,若是有不少的任务时,这并非一个好的办法,这时候就须要用Linux下的定时任务crontab这个神器了. spa

在LINUX中,周期执行的任务通常由cron这个守护进程来处理[ps -ef|grep cron]。cron读取一个或多个配置文件,这些配置文件中包含了命令行及其调用时间。命令行

cron的配置文件称为“crontab”,是“cron table”的简写进程

可经过crontab -l 命令查看你当前机器的定时任务状况, 使用crontab -e进行对你要执行的定时任务进行编辑crontab


*/2 * * * * /usr/bin/python2.7 /home/jianping/work/test.py >> /home/jianping/work/cron.log 2>&1&   utf-8

这是一个每2分钟执行一次test.py文件的定时任务.因为这方面的资料不少,具体的crontab用法你们能够自行百度,在此不作描述table

相关文章
相关标签/搜索