解决多进程中APScheduler重复运行的问题

转自：http://blog.csdn.net/raptor/article/details/69218271

问题

在一个Python web应用中须要定时执行一些任务，因此用了APScheduler这个库。又由于是用flask这个web框架，因此用了flask-apscheduler这个插件（本质上与直接用APScheduler同样，这里不做区分）。

在开发中直接测试运行是没有问题的，可是用gunicorn部署之后发生了重复运行的问题：

每一个任务在时间到的时刻会同时执行好几遍。

注意了一下重复的数量，偏偏是gunicorn里配置的worker进程数量，显然是每一个worker进程都启动了一份scheduler形成。

解决

能够想到的方案有几个：

• 用--preload启动gunicorn，确保scheduler只在loader的时候建立一次
• 另外建立一个单独的定时任务项目，单独以一个进程运行
• 用全局锁确保scheduler只运行一次

通过实践，只有第三个方案比较好。

preload的问题：

虽然这样可使用scheduler建立代码只执行一次，可是问题也在于它只执行一次，从新部署之后若是用kill -HUP重启gunicorn，它并不会重启，甚至整个项目都不会更新。这是preload的反作用，除非重写部署脚本，彻底重启应用。

单独进程的问题：

也是由于部署麻烦，须要多一套部署方案，虽然用Docker会比较方便，但仍然不喜欢，并且同时维护两个项目也多出不少没必要要的事情。

全局锁是一个较好的方案，但问题在于找一个合适的锁。

python自带的多进程多线程锁方案都须要一个共享变量来维护，可是由于worker进程是被gunicorn的主进程启动的，并不方便本身维护，因此须要一个系统级的锁。

在Stackoverflow上看到有人是用了一个socket端口来作锁实现这个方案，可是我也不喜欢这样浪费一个宝贵的端口资源。不过这倒给了我一个启发：

能够用文件锁！

因而有了这个解决方案：

import atexit
import fcntl
from flask_apscheduler import APScheduler

def init(app):
    f = open("scheduler.lock", "wb")
    try:
        fcntl.flock(f, fcntl.LOCK_EX | fcntl.LOCK_NB)
        scheduler = APScheduler()
        scheduler.init_app(app)
        scheduler.start()
    except:
        pass
    def unlock():
        fcntl.flock(f, fcntl.LOCK_UN)
        f.close()
    atexit.register(unlock)

　　

原理

init函数为flask项目初始化所调用，这里为scheduler模块的初始化部分。

首先打开（或建立）一个scheduler.lock文件，并加上非阻塞互斥锁。成功后建立scheduler并启动。

若是加文件锁失败，说明scheduler已经建立，就略过建立scheduler的部分。

最后注册一个退出事件，若是这个flask项目退出，则解锁并关闭scheduler.lock文件的锁。