简析Python中的四种队列

队列是一种只容许在一端进行插入操做，而在另外一端进行删除操做的线性表。

在Python文档中搜索队列（queue）会发现，Python标准库中包含了四种队列，分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列（double-ended queue）的缩写，因为两端都能编辑，deque既能够用来实现栈（stack）也能够用来实现队列（queue）。

deque支持丰富的操做方法，主要方法如图：

相比于list实现的队列，deque实现拥有更低的时间和空间复杂度。list实如今出队（pop）和插入（insert）时的空间复杂度大约为O(n)，deque在出队（pop）和入队（append）时的时间复杂度是O(1)。

deque也支持in操做符，可使用以下写法：

q = collections.deque([1, 2, 3, 4])
print(5 in q)  # False
print(1 in q)  # True
复制代码

deque还封装了顺逆时针的旋转的方法：rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q)  # [4, 1, 2, 3]
q.rotate(1)
print(q)  # [3, 4, 1, 2]

# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q)  # [2, 3, 4, 1]
q.rotate(-1)
print(q)  # [3, 4, 1, 2]
复制代码

线程安全方面，经过查看collections.deque中的append()、pop()等方法的源码能够知道，他们都是原子操做，因此是GIL保护下的线程安全方法。

static PyObject * deque_append(dequeobject *deque, PyObject *item) { 
    Py_INCREF(item);
    if (deque_append_internal(deque, item, deque->maxlen) < 0) 
        return NULL;
    Py_RETURN_NONE;
}
复制代码

经过dis方法能够看到，append是原子操做（一行字节码）。

综上，collections.deque是一个能够方便实现队列的数据结构，具备线程安全的特性，而且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列，基于collections.deque，他们都提供了Queue（FIFO队列）、PriorityQueue（优先级队列）、LifoQueue（LIFO队列），接口方面也相同。

区别在于queue.Queue适用于多线程的场景，asyncio.Queue适用于协程场景下的通讯，因为asyncio的加成，queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行，具体差别以下表：

	queue.Queue	asyncio.Queue
介绍	同步队列	asyncio队列
线程安全	是	否
超时机制	经过timeout参数实现	经过asyncio.wait_for()方法实现
qsize()	预估的队列长度（获取qsize到下一个操做之间，queue有可能被其它的线程修改，致使qsize大小发生变化）	准确的队列长度（因为是单线程，因此queue不会被其它线程修改）
put() / set()	put(item, block=True, timeout=None)，能够经过设置block是否为True来配置put和set方法是否为阻塞，而且能够为阻塞操做设置最大时长timeout，block为False时行为和put_nowait()方法一致。	put()方法会返回一个协程对象，因此没有block参数和timeout参数，若是须要非阻塞方法，可使用put_nowait()，若是须要对阻塞方法应用超时，可使用coroutine asyncio.wait_for()。

multiprocessing.Queue

multiprocessing提供了三种队列，分别是Queue、SimpleQueue、JoinableQueue。

multiprocessing.Queue既是线程安全也是进程安全的，至关于queue.Queue的多进程克隆版。和threading.Queue很像，multiprocessing.Queue支持put和get操做，底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的，可是数据传递时并非直接写入Pipe，而是写入进程本地buffer，经过一个feeder线程写入底层Pipe，这样作是为了实现超时控制和非阻塞put/get，因此Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为，close函数用来关闭feeder线程、join_thread用来join feeder线程，cancel_join_thread用来在控制在进程退出时，不自动join feeder线程，使用cancel_join_thread有可能致使部分数据没有被feeder写入Pipe而致使的数据丢失。

和threading.Queue不一样的是，multiprocessing.Queue默认不支持join()和task_done操做，这两个支持须要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列，去掉了Queue中的buffer，没有了使用Queue可能出现的问题，可是put和get方法都是阻塞的而且没有超时控制。

总结

经过对比能够发现，上述四种结构都实现了队列，可是用处却各有偏重，collections.deque在数据结构层面实现了队列，可是并无应用场景方面的支持，能够看作是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列，asyncio.queue模块则实现了面向多生产协程、多消费协程的队列，而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

参考

docs.python.org/3/library/c…

docs.python.org/3/library/q…

docs.python.org/3/library/a…

docs.python.org/3/library/m…

bugs.python.org/issue15329

blog.ftofficer.com/2009/12/pyt…

cyrusin.github.io/2016/04/27/…

欢迎关注个人公众号【Python私房菜】