Celery 和 Redis 入门

Celery 是一个普遍应用于网络应用程序的任务处理系统。

它能够在如下状况下使用:

在请求响应周期中作网络调用。服务器应当当即响应任何网络请求。若是在请求响应周期内须要进行网络调用，则应在周期外完成调用。例如当用户在网站上注册时，须要发送激活邮件。发送邮件是一种网络调用，耗时2到3秒。用户应该无需等待这2到3秒。所以，发送激活邮件应当在请求响应周期外完成，celery 就能实现这一点。

将一个由几个独立部分组成的大任务分红多个小任务。假设你想知道脸书用户的时间流。脸书提供不一样的端点来获取不一样的数据。譬如，一个端点用以获取用户时间流中的图片，一个端点获取用户时间流中的博文，一个端点获得用户的点赞信息等。若是你的函数须要和脸书的5个端点依此通讯，每一个网络调用平均耗时2秒，你将须要10秒完成一次函数执行。可是，你能够把这项工做分为5个独立的任务（你很快就会发现这很容易作到），并让 celery 来处理这些任务。Celery 能够并行地与这5个端点通讯，在2秒以内就能获得全部端点的响应。

简单的 celery 例子

假设咱们有一个函数，并传给它一个网址列表。该函数须要获取这些网址的响应。

没有使用 celery

建立文件celery_blog.py：

import requests
import time

def func(urls):
    start = time.time()
    for url in urls:
        resp = requests.get(url)
        print resp.status_code
    print "It took", time.time() - start, "seconds"

if __name__ == "__main__":
    func(["http://oneapm.com", "http://jd.com", "https://taobao.com", "http://baidu.com", "http://news.oneapm.com"])

运行：

python celery_blog.py

输出：

使用 celery

调用 celery 的程序中最重要的组成部分为 celery worker。

在 web 应用程序注册的例子中，celery worker 用于发送邮件。

在脸书的例子中， celery worker 用于获取不一样的网址。

在咱们的 celery_blog.py 例子中， celery worker 用于获取 URL。
celery worker 和你的应用程序/脚本是不一样的进程，彼此独立运行。因此你的应用程序/脚本和 celery 须要一些方法来相互沟通。

应用程序代码须要把任务放在 celery worker 能够取出并执行的位置。譬如，应用程序代码将任务放在消息队列中，celery worker 从消息队列领取任务并执行任务。咱们将使用 Redis 做为消息队列。

请确认你已安装 Redis，并能够运行redis-server。

请确认你已安装 celery。

修改文件 celery_blog.py，以下：

from celery import Celery
 
app = Celery('celery_blog',broker='redis://localhost:6379/1')

@app.task
def fetch_url(url):
     resp = requests.get(url)
     print resp.status_code
 
def func(urls):
     for url in urls:
       fetch_url.delay(url)
    
if __name__ == "__main__":
     func(["http://oneapm.com", "http://jd.com", "https://taobao.com", "http://baidu.com", "http://news.oneapm.com"])

代码解释：咱们须要一个 celery 实例来启动程序，所以建立了一个名为 app 的 celery 实例。

在3个终端中启动：

第一个终端，运行 redis-server

第二个终端，运行 celery worker -A celery_blog -l info -c 5 ，经过输出能够看到 celery 成功运行。

第三个终端，运行脚本 python celery_blog.py

能够看到第二个终端输出以下：

将 celery 代码和配置保存在不一样文件中

上面的例子中，咱们只写了一个 celery 任务。但您的项目可能涉及多个模块，您可能但愿在不一样的模块中有不一样的任务。因此让咱们将 celery 配置移到单独的文件中。

建立 celery_config.py

from celery import Celery

app = Celery('celery_config', broker='redis://localhost:6379/0', include=['celery_blog'])

修改 celery_blog.py 代码以下：

import  requests
from celery_config import app

@app.task
def fetch_url(url):
     resp = requests.get(url)
     print resp.status_code

def func(urls):
    for url in urls:
       fetch_url.delay(url)
    
if __name__ == "__main__":
    func(["http://oneapm.com", "http://jd.com", "https://taobao.com", "http://baidu.com", "http://news.oneapm.com"])

停掉以前的 celery worker ，运行：

celery worker -A celery_config -l info -c 5

打开 ipython ，运行以下命令：

In [1]: from celery_blog import func
In [2]: func(["http://oneapm.com", "http://jd.com", "https://taobao.com", "http://baidu.com", "http://news.oneapm.com"])

输出以下：

在不一样文件中添加新的任务

您能够添加新的模块，并在该模块中定义一个任务。用如下内容建立一个模块 celery_add.py：

from celery_config import app

@app.task
def add(a, b):
    return a + b

改变 celery_config.py 包含新的模块 celery_add.py，以下：

from celery import Celery

app = Celery('celery_config', broker='redis://localhost:6379/0', include=['celery_blog', 'celery_add'])

在 ipython 输入：

In [1]: from celery_add import add
In [2]: add.delay(4, 5)

输出以下：

在不一样的机器上分开使用 Redis 和 celery

到目前为止，咱们的脚本、celery worker 和 Redis 都运行在同一机器中。其实并没有这种必要，这三者能够运行在不一样机器上。

celery 任务涉及到网络请求，所以，在网络优化的机器上使用 celery worker 能提升任务运行速度。Redis 是一种内存数据库，在内存优化的机器上运行效率更高。

在这个例子中，我将在本地系统运行脚本和 celery worker，在分开的服务器上运行 Redis。

修改 celery_config.py 为：

app = Celery('celery_config', broker='redis://192.168.118.148:6379/0', include=['celery_blog'])

如今我运行任何任务，脚本都将把他放在 Redis 运行的服务器（192.168.118.148）上面。

celery worker 也与 192.168.118.148 沟通,在这个 Redis 服务器上获得任务并执行它。

注意:您必须使用正在运行 redis-server 的服务器地址。个人服务器已中止Redis,因此你将没法链接到 Redis。

参考文章：Getting started with Celery and Redis

本文系 OneAPM 工程师编译整理。想阅读更多技术文章，请访问 OneAPM 官方博客。