Python collections.deque双边队列原理详解


Posted in Python onOctober 05, 2020

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。

在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列(double-ended queue)的缩写,由于两端都能编辑,deque既可以用来实现栈(stack)也可以用来实现队列(queue)。

deque支持丰富的操作方法,主要方法如图:

Python collections.deque双边队列原理详解

相比于list实现的队列,deque实现拥有更低的时间和空间复杂度。list实现在出队(pop)和插入(insert)时的空间复杂度大约为O(n),deque在出队(pop)和入队(append)时的时间复杂度是O(1)。

deque也支持in操作符,可以使用如下写法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque还封装了顺逆时针的旋转的方法:rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]

# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

线程安全方面,通过查看collections.deque中的append()、pop()等方法的源码可以知道,他们都是原子操作,所以是GIL保护下的线程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) {
Py_INCREF(item);
if (deque_append_internal(deque, item, deque->maxlen) < 0)
return NULL;
Py_RETURN_NONE;
}

通过dis方法可以看到,append是原子操作(一行字节码)。

Python collections.deque双边队列原理详解

综上,collections.deque是一个可以方便实现队列的数据结构,具有线程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列,基于collections.deque,他们都提供了Queue(FIFO队列)、PriorityQueue(优先级队列)、LifoQueue(LIFO队列),接口方面也相同。

区别在于queue.Queue适用于多线程的场景,asyncio.Queue适用于协程场景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行,具体差异如下表:

  queue.Queue asyncio.Queue
介绍 同步队列 asyncio队列
线程安全
超时机制 通过timeout参数实现 通过asyncio.wait_for()方法实现
qsize() 预估的队列长度(获取qsize到下一个操作之间,queue有可能被其它的线程修改,导致qsize大小发生变化) 准确的队列长度(由于是单线程,所以queue不会被其它线程修改)
put() / set() put(item, block=True, timeout=None),可以通过设置block是否为True来配置put和set方法是否为阻塞,并且可以为阻塞操作设置最大时长timeout,block为False时行为和put_nowait()方法一致。 put()方法会返回一个协程对象,所以没有block参数和timeout参数,如果需要非阻塞方法,可以使用put_nowait(),如果需要对阻塞方法应用超时,可以使用coroutine asyncio.wait_for()。

multiprocessing.Queue

multiprocessing提供了三种队列,分别是Queue、SimpleQueue、JoinableQueue。

Python collections.deque双边队列原理详解

multiprocessing.Queue既是线程安全也是进程安全的,相当于queue.Queue的多进程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的,但是数据传递时并不是直接写入Pipe,而是写入进程本地buffer,通过一个feeder线程写入底层Pipe,这样做是为了实现超时控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为,close函数用来关闭feeder线程、join_thread用来join feeder线程,cancel_join_thread用来在控制在进程退出时,不自动join feeder线程,使用cancel_join_thread有可能导致部分数据没有被feeder写入Pipe而导致的数据丢失。

和threading.Queue不同的是,multiprocessing.Queue默认不支持join()和task_done操作,这两个支持需要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列,去掉了Queue中的buffer,没有了使用Queue可能出现的问题,但是put和get方法都是阻塞的并且没有超时控制。

总结

通过对比可以发现,上述四种结构都实现了队列,但是用处却各有偏重,collections.deque在数据结构层面实现了队列,但是并没有应用场景方面的支持,可以看做是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列,asyncio.queue模块则实现了面向多生产协程、多消费协程的队列,而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
本地文件上传到七牛云服务器示例(七牛云存储)
Jan 11 Python
跟老齐学Python之用Python计算
Sep 12 Python
Python中比较特别的除法运算和幂运算介绍
Apr 05 Python
Python基础之getpass模块详细介绍
Aug 10 Python
Python系统监控模块psutil功能与经典用法分析
May 24 Python
python 使用poster模块进行http方式的文件传输到服务器的方法
Jan 15 Python
python实现维吉尼亚算法
Mar 20 Python
pandas实现将dataframe满足某一条件的值选出
Jun 12 Python
对Python中小整数对象池和大整数对象池的使用详解
Jul 09 Python
py-charm延长试用期限实例
Dec 22 Python
Python Django中间件使用原理及流程分析
Jun 13 Python
Python绘制地图神器folium的新人入门指南
May 23 Python
Python全局变量与global关键字常见错误解决方案
Oct 05 #Python
Python定时任务框架APScheduler原理及常用代码
Oct 05 #Python
Python xmltodict模块安装及代码实例
Oct 05 #Python
Python pathlib模块使用方法及实例解析
Oct 05 #Python
Python fileinput模块如何逐行读取多个文件
Oct 05 #Python
Python利用Pillow(PIL)库实现验证码图片的全过程
Oct 04 #Python
Python中random模块常用方法的使用教程
Oct 04 #Python
You might like
PHP动态编译出现Cannot find autoconf的解决方法
2014/11/05 PHP
PHP 中TP5 Request 请求对象的实例详解
2017/07/31 PHP
php伪静态验证码不显示的解决方案
2019/09/26 PHP
基于PHP实现发微博动态代码实例
2020/12/11 PHP
javascript 常用方法总结
2009/06/03 Javascript
javascript demo 基本技巧
2009/12/18 Javascript
jQuery的实现原理的模拟代码 -5 Ajax
2010/08/07 Javascript
JavaScript具有类似Lambda表达式编程能力的代码(改进版)
2010/09/14 Javascript
8个实用的jQuery技巧
2014/03/04 Javascript
jquery查找父元素、子元素(个人经验总结)
2014/04/09 Javascript
jQuery添加和删除指定标签的方法
2015/12/16 Javascript
学习JavaScript设计模式之中介者模式
2016/01/14 Javascript
window.onerror()的用法与实例分析
2016/01/27 Javascript
微信小程序 SocketIO 实例讲解
2016/10/13 Javascript
JSON 必知必会 观后记
2016/10/27 Javascript
js自定义QQ菜单效果
2017/01/10 Javascript
表格展示利器 Bootstrap Table实例代码
2017/09/06 Javascript
vue 设置路由的登录权限的方法
2018/07/03 Javascript
详解Vue的常用指令v-if, v-for, v-show,v-else, v-bind, v-on
2018/10/12 Javascript
Python开发常用的一些开源Package分享
2015/02/14 Python
Python中函数的参数传递与可变长参数介绍
2015/06/30 Python
细说CSS3中的选择符
2008/10/17 HTML / CSS
英国在线泳装店:Simply Swim
2019/05/05 全球购物
戴森英国官网:Dyson英国
2019/05/07 全球购物
失业者真诚求职信范文
2013/12/25 职场文书
怎样客观的做好自我评价
2013/12/28 职场文书
预备党员2014全国两会学习心得体会
2014/03/10 职场文书
大学生村官考核材料
2014/05/23 职场文书
青奥会口号
2014/06/12 职场文书
党的群众教育实践活动实施方案
2014/06/12 职场文书
质量月口号
2014/06/20 职场文书
迎国庆演讲稿
2014/09/05 职场文书
秦始皇兵马俑导游词
2015/02/02 职场文书
酒店服务员岗位职责
2015/02/09 职场文书
铁人观后感
2015/06/16 职场文书
2019请假条的基本格式及范文!
2019/07/05 职场文书