Celery - 异步任务 , 定时任务 , 周期任务 的芹菜
1. 什么是celery?
Celery 是芹菜python
Celery是基于python实现的模块, 用于执行异步定时周期任务的redis
其结构的组成是由windows
1. 用户任务appapp
2. 管道broker用于存储任务 官方推荐 redis rabbitMQ / backend 用于存储任务执行结构的异步
3. 员工workerasync
2. celery 的简单实例
from celery import Celery import time #建立一个Celery实例,这就是咱们用户的应用app my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379") # 为应用建立任务,func1 @my_task.task def func1(x, y): time.sleep(15) return x + y
from s1 import func1 # 将任务交给Celery的Worker执行 res = func1.delay(2,4) #返回任务ID print(res.id)
from celery.result import AsyncResult from s1 import my_task # 异步获取任务返回值 async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task) # 判断异步任务是否执行成功 if async_task.successful(): #获取异步任务的返回值 result = async_task.get() print(result) else: print("任务还未执行完成")
咱们要执行的任务是s1.py中, 也就是worker须要执行的任务, 因此worker就是s1.py了ide
如今咱们就来启动worker 函数
根据操做系统的不一样, 启动方式也存在差别:spa
Linux: celery worker -A s1 -l INFO操作系统
windows : 这里须要注意的是celery 4.+ 已经再也不对windows 操做系统提供支持了, 也就是在windows环境下出现问题除非本身解决, 不然官方是不会给你解决的
Windows : celery worker -A s1 -l INFO -P eventlet
ps : eventlet 是一个python的三方库 须要使用pip安装 pip install eventlet
启动完成, 其实在s1.py 当中, worker 已经知道了本身的broker 和 backend 在哪里了
接下来就让异步任务开始执行吧, 对了 s2.py 中就是使用 delay 的方式来开始执行的异步任务
执行s2.py 获得了一个字符串 55a84ea3-afa4-4ab9-8650-40e156c07441 这个字符串就是异步任务的ID
在celery worker 的控制台能够看到这个样子
等待15秒钟以后就能够的到这样一个字符串
而后经过s3.py修改异步任务的ID来获取任务返回的结果
这样就简单完成了一个Celery异步任务了
3.Celery 结合 Flask 模拟"抢购"系统
https://pan.baidu.com/s/15T08QUBYWqi8QjE0sPUBlg
下载源码查看示例
4. celery 项目目录
在实际项目中咱们应用celery是有规则的
要知足这样的条件才能够哦, 目录Celery_task这个名字能够随意起, 可是必定要注意在这个目录下必定要有一个celery.py这个文件
from celery import Celery celery_task = Celery("task", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379", include=["Celery_task.task_one","Celery_task.task_two"]) # include 这个参数适用于寻找目录中全部的task
from .celery import celery_task import time @celery_task.task def one(x,y): time.sleep(5) return f"task_one {x+y}"
from .celery import celery_task import time @celery_task.task def two(x,y): time.sleep(5) return f"task_two {x+y}"
这样Celery项目目录结构就已经作好了而后再 my_celery中调用
from Celery_task.task_one import one from Celery_task.task_two import two one.delay(10,10) two.delay(20,20)
PS : 启动worker 的时候无需在使用文件启动, 直接启动你的Celery_task目录就好了
celery worker -A celery_task -l INFO -P eventlet
这样celery 就能够自动的去检测当前目录下全部的task了, 经过 include 这个参数逐一去寻找
5. celery定时任务
咱们还使用Celery_task这个示例来修改一下
my_celery中进行一下小修改
from Celery_task.task_one import one from Celery_task.task_two import two # one.delay(10,10) # two.delay(20,20) # 定时任务咱们不在使用delay这个方法了,delay是当即交给task 去执行 # 如今咱们使用apply_async定时执行 #首先咱们要先给task一个执行任务的时间 import datetime,time # 获取当前时间 此时间为东八区时间 ctime = time.time() # 将当前的东八区时间改成 UTC时间 注意这里必定是UTC时间,没有其余说法 utc_time = datetime.datetime.utcfromtimestamp(ctime) # 为当前时间增长 10 秒 add_time = datetime.timedelta(seconds=10) action_time = utc_time + add_time # action_time 就是当前时间将来10秒以后的时间 #如今咱们使用apply_async定时执行 res = one.apply_async(args=(10,10),eta=action_time) print(res.id) #这样本来延迟5秒执行的One函数如今就要在10秒钟之后执行了
定时任务只能被执行一次,那若是我想每隔10秒都去执行一次这个任务怎么办呢? 周期任务来了
6. celery 周期任务
首先要对Celery_task中的celery.py进行一点修改:
from celery import Celery from celery.schedules import crontab celery_task = Celery("task", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379", include=["Celery_task.task_one","Celery_task.task_two"]) #我要要对beat任务生产作一个配置,这个配置的意思就是每10秒执行一次Celery_task.task_one任务参数是(10,10) celery_task.conf.beat_schedule={ "each10s_task":{ "task":"Celery_task.task_one.one", "schedule":10, # 每10秒钟执行一次 "args":(10,10) }, "each1m_task": { "task": "Celery_task.task_one.one", "schedule": crontab(minute=1), # 每一分钟执行一次 "args": (10, 10) }, "each24hours_task": { "task": "Celery_task.task_one.one", "schedule": crontab(hour=24), # 每24小时执行一次 "args": (10, 10) } } #以上配置完成以后,还有一点很是重要 # 不能直接建立Worker了,由于咱们要执行周期任务,因此首先要先有一个任务的生产方 # celery beat -A Celery_task # celery worker -A Celery_task -l INFO -P eventlet
建立Worker 的方式并无发生变化, 可是这里注意的是,每间隔必定时间后须要生产出来任务给worker去执行, 这里须要一个生产者 beat
celery beat -A Celery_task # 建立生产者beat 你的schedule 写在哪里, 就是从哪里启动
celery worker - A Celery_task -l INFO -P eventlet
建立worker 以后, 没10秒就会由beat 建立一个任务给 worker 去执行