Redis实现简单消息队列

任务异步化

打开浏览器，输入地址，按下回车，打开了页面。因而一个HTTP请求（request）就由客户端发送到服务器，服务器处理请求，返回响应（response）内容。

咱们天天都在浏览网页，发送大大小小的请求给服务器。有时候，服务器接到了请求，会发现他也须要给另外的服务器发送请求，或者服务器也须要作另一些事情，因而最初们发送的请求就被阻塞了，也就是要等待服务器完成其余的事情。

更多的时候，服务器作的额外事情，并不须要客户端等待，这时候就能够把这些额外的事情异步去作。从事异步任务的工具备不少。主要原理仍是处理通知消息，针对通知消息一般采起是队列结构。生产和消费消息进行通讯和业务实现。

生产消费与队列

上述异步任务的实现，能够抽象为生产者消费模型。如同一个餐馆，厨师在作饭，吃货在吃饭。若是厨师作了不少，暂时卖不完，厨师就会休息；若是客户不少，厨师快马加鞭的忙碌，客户则须要慢慢等待。实现生产者和消费者的方式用不少，下面使用Python标准库Queue写个小例子：

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

import random import time from Queue import Queue from threading import Thread   queue = Queue(10)   class Producer(Thread):     def run(self):         while True:             elem = random.randrange(9)             queue.put(elem)             print "厨师 {} 作了 {} 饭 --- 还剩 {} 饭没卖完".format(self.name, elem, queue.qsize())             time.sleep(random.random())   class Consumer(Thread):     def run(self):         while True:             elem = queue.get()             print "吃货{} 吃了 {} 饭 --- 还有 {} 饭能够吃".format(self.name, elem, queue.qsize())             time.sleep(random.random())   def main():     for i in range(3):         p = Producer()         p.start()     for i in range(2):         c = Consumer()         c.start()   if __name__ == '__main__':     main()

大概输出以下：

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

厨师 Thread-1 作了 1 饭 --- 还剩 1 饭没卖完 厨师 Thread-2 作了 8 饭 --- 还剩 2 饭没卖完 厨师 Thread-3 作了 3 饭 --- 还剩 3 饭没卖完 吃货Thread-4 吃了 1 饭 --- 还有 2 饭能够吃 吃货Thread-5 吃了 8 饭 --- 还有 1 饭能够吃 吃货Thread-4 吃了 3 饭 --- 还有 0 饭能够吃 厨师 Thread-1 作了 0 饭 --- 还剩 1 饭没卖完 厨师 Thread-2 作了 0 饭 --- 还剩 2 饭没卖完 厨师 Thread-1 作了 1 饭 --- 还剩 3 饭没卖完 厨师 Thread-1 作了 1 饭 --- 还剩 4 饭没卖完 吃货Thread-4 吃了 0 饭 --- 还有 3 饭能够吃 厨师 Thread-3 作了 3 饭 --- 还剩 4 饭没卖完 吃货Thread-5 吃了 0 饭 --- 还有 3 饭能够吃 吃货Thread-5 吃了 1 饭 --- 还有 2 饭能够吃 厨师 Thread-2 作了 8 饭 --- 还剩 3 饭没卖完 厨师 Thread-2 作了 8 饭 --- 还剩 4 饭没卖完

 

Redis 队列

Python内置了一个好用的队列结构。咱们也能够是用redis实现相似的操做。并作一个简单的异步任务。

Redis提供了两种方式来做消息队列。一个是使用生产者消费模式模式，另一个方法就是发布订阅者模式。前者会让一个或者多个客户端监听消息队列，一旦消息到达，消费者立刻消费，谁先抢到算谁的，若是队列里没有消息，则消费者继续监听。后者也是一个或多个客户端订阅消息频道，只要发布者发布消息，全部订阅者都能收到消息，订阅者都是ping的。

生产消费模式

主要使用了redis提供的blpop获取队列数据，若是队列没有数据则阻塞等待，也就是监听。

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

import redis   class Task(object):     def __init__(self):         self.rcon = redis.StrictRedis(host='localhost', db=5)         self.queue = 'task:prodcons:queue'       def listen_task(self):         while True:             task = self.rcon.blpop(self.queue, 0)[1]             print "Task get", task   if __name__ == '__main__':     print 'listen task queue'     Task().listen_task()

 

发布订阅模式

使用redis的pubsub功能，订阅者订阅频道，发布者发布消息到频道了，频道就是一个消息队列。

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import redis   class Task(object):       def __init__(self):         self.rcon = redis.StrictRedis(host='localhost', db=5)         self.ps = self.rcon.pubsub()         self.ps.subscribe('task:pubsub:channel')       def listen_task(self):         for i in self.ps.listen():             if i['type'] == 'message':                 print "Task get", i['data']   if __name__ == '__main__':     print 'listen task channel'     Task().listen_task()

 

Flask 入口

咱们分别实现了两种异步任务的后端服务，直接启动他们，就能监听redis队列或频道的消息了。简单的测试以下：

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43

import redis import random import logging from flask import Flask, redirect   app = Flask(__name__)   rcon = redis.StrictRedis(host='localhost', db=5) prodcons_queue = 'task:prodcons:queue' pubsub_channel = 'task:pubsub:channel'   @app.route('/') def index():       html = """ <br> <center><h3>Redis Message Queue</h3> <br> <a href="/prodcons">生产消费者模式</a> <br> <br> <a href="/pubsub">发布订阅者模式</a> </center> """     return html   @app.route('/prodcons') def prodcons():     elem = random.randrange(10)     rcon.lpush(prodcons_queue, elem)     logging.info("lpush {} -- {}".format(prodcons_queue, elem))     return redirect('/')   @app.route('/pubsub') def pubsub():     ps = rcon.pubsub()     ps.subscribe(pubsub_channel)     elem = random.randrange(10)     rcon.publish(pubsub_channel, elem)     return redirect('/')   if __name__ == '__main__':     app.run(debug=True)

启动脚本，使用

 

1 2	siege -c10 -r 5 http://127.0.0.1:5000/prodcons siege -c10 -r 5 http://127.0.0.1:5000/pubsub

能够分别在监听的脚本输入中看到异步消息。在异步的任务中，能够执行一些耗时间的操做，固然目前这些作法并不知道异步的执行结果，若是须要知道异步的执行结果，能够考虑设计协程任务或者使用一些工具如RQ或者celery等。