python任务调度模块celery

python任务调度模块celery

celery简介

Celery是一个python开发的异步分布式任务调度模块。
Celery自己并不提供消息服务，使用第三方服务，也就是borker来传递任务，通常使用rabbitMQ或者Redis。

• Celery特色
  简单：一单熟悉了celery的工做流程后，配置和使用仍是比较简单的。
  高可用：当任务执行失败或执行过程当中发生链接中断，celery 会自动尝试从新执行任务。
  快速：一个单进程的celery每分钟可处理上百万个任务。
  灵活： 几乎celery的各个组件均可以被扩展及自定制。
• Celery工做流程图
  python-Celery

  celery安装使用

  安装Celery模块

  1	pip install celery

Celery的默认broker是RabbitMQ，仅需配置一行

1	broker_url = 'amqp://guest:guest@localhost:5672//'

 

RabbitMQ的安装点击Using RabbitMQ查看。
redis做为broker也能够。

• 安装

  1	pip install redis

• 配置
  broker_url配置redis数据库地址，格式为redis://:password@hostname:port/db_number。
  backend配置任务结果存储位置，将保存每一个任务的执行结果。

  1 2	app.conf.broker_url = 'redis://localhost:6379/0' app.conf.result_backend = 'redis://localhost:6379/0'

port和db_number是可选项，默认状况下端口使用6379，db_number使用0。

• 示例
  建立一个celery application定义任务列表，新建一个celery1.py文件

  1 2 3 4 5 6 7 8

  from celery import Celery broker = "redis://118.24.18.158:6379/5" backend = "redis://118.24.18.158:6379/6" app = Celery("celery1", broker=broker, backend=backend) @app.task def add(x, y): return x+y

启动Celery Worker开始监听并执行任务

1	celery -A celery1 worker --loglevel=info

 

调用任务

1 2 3 4 5 6 7 8 9

import time from celery1 import add re = add.delay(10, 20) print(re) print(re.status) time.sleep(8) print(re.status) print(re.result)