Python collections.deque双边队列原理详解


Posted in Python onOctober 05, 2020

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。

在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列(double-ended queue)的缩写,由于两端都能编辑,deque既可以用来实现栈(stack)也可以用来实现队列(queue)。

deque支持丰富的操作方法,主要方法如图:

Python collections.deque双边队列原理详解

相比于list实现的队列,deque实现拥有更低的时间和空间复杂度。list实现在出队(pop)和插入(insert)时的空间复杂度大约为O(n),deque在出队(pop)和入队(append)时的时间复杂度是O(1)。

deque也支持in操作符,可以使用如下写法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque还封装了顺逆时针的旋转的方法:rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]

# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

线程安全方面,通过查看collections.deque中的append()、pop()等方法的源码可以知道,他们都是原子操作,所以是GIL保护下的线程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) {
Py_INCREF(item);
if (deque_append_internal(deque, item, deque->maxlen) < 0)
return NULL;
Py_RETURN_NONE;
}

通过dis方法可以看到,append是原子操作(一行字节码)。

Python collections.deque双边队列原理详解

综上,collections.deque是一个可以方便实现队列的数据结构,具有线程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列,基于collections.deque,他们都提供了Queue(FIFO队列)、PriorityQueue(优先级队列)、LifoQueue(LIFO队列),接口方面也相同。

区别在于queue.Queue适用于多线程的场景,asyncio.Queue适用于协程场景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行,具体差异如下表:

  queue.Queue asyncio.Queue
介绍 同步队列 asyncio队列
线程安全
超时机制 通过timeout参数实现 通过asyncio.wait_for()方法实现
qsize() 预估的队列长度(获取qsize到下一个操作之间,queue有可能被其它的线程修改,导致qsize大小发生变化) 准确的队列长度(由于是单线程,所以queue不会被其它线程修改)
put() / set() put(item, block=True, timeout=None),可以通过设置block是否为True来配置put和set方法是否为阻塞,并且可以为阻塞操作设置最大时长timeout,block为False时行为和put_nowait()方法一致。 put()方法会返回一个协程对象,所以没有block参数和timeout参数,如果需要非阻塞方法,可以使用put_nowait(),如果需要对阻塞方法应用超时,可以使用coroutine asyncio.wait_for()。

multiprocessing.Queue

multiprocessing提供了三种队列,分别是Queue、SimpleQueue、JoinableQueue。

Python collections.deque双边队列原理详解

multiprocessing.Queue既是线程安全也是进程安全的,相当于queue.Queue的多进程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的,但是数据传递时并不是直接写入Pipe,而是写入进程本地buffer,通过一个feeder线程写入底层Pipe,这样做是为了实现超时控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为,close函数用来关闭feeder线程、join_thread用来join feeder线程,cancel_join_thread用来在控制在进程退出时,不自动join feeder线程,使用cancel_join_thread有可能导致部分数据没有被feeder写入Pipe而导致的数据丢失。

和threading.Queue不同的是,multiprocessing.Queue默认不支持join()和task_done操作,这两个支持需要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列,去掉了Queue中的buffer,没有了使用Queue可能出现的问题,但是put和get方法都是阻塞的并且没有超时控制。

总结

通过对比可以发现,上述四种结构都实现了队列,但是用处却各有偏重,collections.deque在数据结构层面实现了队列,但是并没有应用场景方面的支持,可以看做是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列,asyncio.queue模块则实现了面向多生产协程、多消费协程的队列,而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
如何运行Python程序的方法
Apr 21 Python
Python批量按比例缩小图片脚本分享
May 21 Python
深入理解Django自定义信号(signals)
Oct 15 Python
在Python中给Nan值更改为0的方法
Oct 30 Python
Python HTML解析模块HTMLParser用法分析【爬虫工具】
Apr 05 Python
python绘制双Y轴折线图以及单Y轴双变量柱状图的实例
Jul 08 Python
在python中将list分段并保存为array类型的方法
Jul 15 Python
Python 类的私有属性和私有方法实例分析
Sep 29 Python
详谈tensorflow gfile文件的用法
Feb 05 Python
python实现图片,视频人脸识别(dlib版)
Nov 18 Python
Python logging自定义字段输出及打印颜色
Nov 30 Python
浅谈盘点5种基于Python生成的个性化语音方法
Feb 05 Python
Python全局变量与global关键字常见错误解决方案
Oct 05 #Python
Python定时任务框架APScheduler原理及常用代码
Oct 05 #Python
Python xmltodict模块安装及代码实例
Oct 05 #Python
Python pathlib模块使用方法及实例解析
Oct 05 #Python
Python fileinput模块如何逐行读取多个文件
Oct 05 #Python
Python利用Pillow(PIL)库实现验证码图片的全过程
Oct 04 #Python
Python中random模块常用方法的使用教程
Oct 04 #Python
You might like
业余方法DIY电子管FM收音机
2021/03/02 无线电
PHP4实际应用经验篇(6)
2006/10/09 PHP
PHP 操作文件的一些FAQ总结
2009/02/12 PHP
php access 数据连接与读取保存编辑数据的实现代码
2010/05/12 PHP
初步介绍PHP扩展开发经验分享
2012/09/06 PHP
php中url传递中文字符,特殊危险字符的解决方法
2013/08/17 PHP
phpQuery占用内存过多的处理方法
2013/11/13 PHP
ThinkPHP之getField详解
2014/06/20 PHP
DOM下的节点属性和操作小结
2009/05/14 Javascript
javascript 事件查询综合 推荐收藏
2010/03/10 Javascript
jQuery窗口、文档、网页各种高度的精确理解
2014/07/02 Javascript
20条学习javascript的编程规范的建议
2014/11/28 Javascript
jQuery 中DOM 操作详解
2015/01/13 Javascript
js简单实现点击左右运动的方法
2015/04/10 Javascript
mvc中form表单提交的三种方式(推荐)
2016/08/10 Javascript
node.js 利用流实现读写同步,边读边写的方法
2017/09/11 Javascript
Vue的v-model的几种修饰符.lazy,.number和.trim的用法说明
2020/08/05 Javascript
[37:50]VP vs TNC Supermajor小组赛B组 BO3 第一场 6.2
2018/06/03 DOTA
Django项目实战之用户头像上传与访问的示例
2018/04/21 Python
Python 读取指定文件夹下的所有图像方法
2018/04/27 Python
python自定义函数实现一个数的三次方计算方法
2019/01/20 Python
python ChainMap的使用和说明详解
2019/06/11 Python
python numpy生成等差数列、等比数列的实例
2020/02/25 Python
css3利用transform变形结合事件完成扇形导航
2020/10/26 HTML / CSS
意大利运动服减价商店:ScontoSport
2020/03/10 全球购物
与C++相比,Java中的数组有什么不同
2014/03/25 面试题
计算机相关的自我评价
2014/01/15 职场文书
单位创先争优活动方案
2014/01/26 职场文书
法学毕业生自我鉴定
2014/01/31 职场文书
《第一次抱母亲》教学反思
2014/04/16 职场文书
合伙协议书
2014/04/23 职场文书
项目投资合作意向书
2014/07/29 职场文书
会计个人实习计划书
2014/08/15 职场文书
国土资源局开展党的群众路线教育实践活动整改措施
2014/09/26 职场文书
小学生优秀作文范文(六篇)
2019/07/10 职场文书
MySQL添加索引特点及优化问题
2022/07/23 MySQL