Python collections.deque双边队列原理详解


Posted in Python onOctober 05, 2020

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。

在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列(double-ended queue)的缩写,由于两端都能编辑,deque既可以用来实现栈(stack)也可以用来实现队列(queue)。

deque支持丰富的操作方法,主要方法如图:

Python collections.deque双边队列原理详解

相比于list实现的队列,deque实现拥有更低的时间和空间复杂度。list实现在出队(pop)和插入(insert)时的空间复杂度大约为O(n),deque在出队(pop)和入队(append)时的时间复杂度是O(1)。

deque也支持in操作符,可以使用如下写法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque还封装了顺逆时针的旋转的方法:rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]

# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

线程安全方面,通过查看collections.deque中的append()、pop()等方法的源码可以知道,他们都是原子操作,所以是GIL保护下的线程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) {
Py_INCREF(item);
if (deque_append_internal(deque, item, deque->maxlen) < 0)
return NULL;
Py_RETURN_NONE;
}

通过dis方法可以看到,append是原子操作(一行字节码)。

Python collections.deque双边队列原理详解

综上,collections.deque是一个可以方便实现队列的数据结构,具有线程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列,基于collections.deque,他们都提供了Queue(FIFO队列)、PriorityQueue(优先级队列)、LifoQueue(LIFO队列),接口方面也相同。

区别在于queue.Queue适用于多线程的场景,asyncio.Queue适用于协程场景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行,具体差异如下表:

  queue.Queue asyncio.Queue
介绍 同步队列 asyncio队列
线程安全
超时机制 通过timeout参数实现 通过asyncio.wait_for()方法实现
qsize() 预估的队列长度(获取qsize到下一个操作之间,queue有可能被其它的线程修改,导致qsize大小发生变化) 准确的队列长度(由于是单线程,所以queue不会被其它线程修改)
put() / set() put(item, block=True, timeout=None),可以通过设置block是否为True来配置put和set方法是否为阻塞,并且可以为阻塞操作设置最大时长timeout,block为False时行为和put_nowait()方法一致。 put()方法会返回一个协程对象,所以没有block参数和timeout参数,如果需要非阻塞方法,可以使用put_nowait(),如果需要对阻塞方法应用超时,可以使用coroutine asyncio.wait_for()。

multiprocessing.Queue

multiprocessing提供了三种队列,分别是Queue、SimpleQueue、JoinableQueue。

Python collections.deque双边队列原理详解

multiprocessing.Queue既是线程安全也是进程安全的,相当于queue.Queue的多进程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的,但是数据传递时并不是直接写入Pipe,而是写入进程本地buffer,通过一个feeder线程写入底层Pipe,这样做是为了实现超时控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为,close函数用来关闭feeder线程、join_thread用来join feeder线程,cancel_join_thread用来在控制在进程退出时,不自动join feeder线程,使用cancel_join_thread有可能导致部分数据没有被feeder写入Pipe而导致的数据丢失。

和threading.Queue不同的是,multiprocessing.Queue默认不支持join()和task_done操作,这两个支持需要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列,去掉了Queue中的buffer,没有了使用Queue可能出现的问题,但是put和get方法都是阻塞的并且没有超时控制。

总结

通过对比可以发现,上述四种结构都实现了队列,但是用处却各有偏重,collections.deque在数据结构层面实现了队列,但是并没有应用场景方面的支持,可以看做是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列,asyncio.queue模块则实现了面向多生产协程、多消费协程的队列,而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中计算三角函数之cos()方法的使用简介
May 15 Python
Python缩进和冒号详解
Jun 01 Python
Python 性能优化技巧总结
Nov 01 Python
Python中@property的理解和使用示例
Jun 11 Python
Django框架model模型对象验证实现方法分析
Oct 02 Python
python 实现多线程下载视频的代码
Nov 15 Python
python第三方库学习笔记
Feb 07 Python
Python集合操作方法详解
Feb 09 Python
python实现一个猜拳游戏
Apr 05 Python
解决python DataFrame 打印结果不换行问题
Apr 09 Python
Appium+Python实现简单的自动化登录测试的实现
Jan 26 Python
python批量更改目录名/文件名的方法
Apr 18 Python
Python全局变量与global关键字常见错误解决方案
Oct 05 #Python
Python定时任务框架APScheduler原理及常用代码
Oct 05 #Python
Python xmltodict模块安装及代码实例
Oct 05 #Python
Python pathlib模块使用方法及实例解析
Oct 05 #Python
Python fileinput模块如何逐行读取多个文件
Oct 05 #Python
Python利用Pillow(PIL)库实现验证码图片的全过程
Oct 04 #Python
Python中random模块常用方法的使用教程
Oct 04 #Python
You might like
使用VisualStudio开发php的图文设置方法
2010/08/21 PHP
JavaScript创建命名空间的5种写法
2014/06/24 PHP
PHP 断点续传实例详解
2017/11/11 PHP
javascript 选择文件夹对话框(web)
2009/07/07 Javascript
验证码按回车不变解决方法
2013/03/29 Javascript
javascript中的=等号个数问题两个跟三个有什么区别
2013/10/23 Javascript
jquery预加载图片的方法
2015/05/27 Javascript
详解JavaScript中setSeconds()方法的使用
2015/06/11 Javascript
javascript正则表达式之分组概念与用法实例
2016/06/16 Javascript
JS点击缩略图整屏居中放大图片效果
2017/07/04 Javascript
基于Vue2-Calendar改进的日历组件(含中文使用说明)
2019/04/14 Javascript
微信小程序wx.request拦截器使用详解
2019/07/09 Javascript
vue中destroyed方法的使用说明
2020/07/21 Javascript
在vue项目中封装echarts的步骤
2020/12/25 Vue.js
[01:10:16]DOTA2上海特级锦标赛B组资格赛#2 Fnatic VS Spirit第一局
2016/02/27 DOTA
python实现的一个p2p文件传输实例
2014/06/04 Python
Python基于回溯法解决01背包问题实例
2017/12/06 Python
对pandas中apply函数的用法详解
2018/04/10 Python
Python 解决中文写入Excel时抛异常的问题
2018/05/03 Python
Python设计模式之模板方法模式实例详解
2019/01/17 Python
PyQt5实现让QScrollArea支持鼠标拖动的操作方法
2019/06/19 Python
如何通过50行Python代码获取公众号全部文章
2019/07/12 Python
Django框架HttpRequest对象用法实例分析
2019/11/01 Python
Python异常继承关系和自定义异常实现代码实例
2020/02/20 Python
python下对hsv颜色空间进行量化操作
2020/06/04 Python
Keras搭建自编码器操作
2020/07/03 Python
精油和天然健康美容产品:Art Naturals
2018/01/27 全球购物
西班牙美妆电商:Perfume’s Club(有中文站)
2018/08/08 全球购物
2014年情人节活动方案
2014/02/16 职场文书
小学六年级学生评语
2014/04/22 职场文书
社区活动总结报告
2014/05/05 职场文书
2014教师“四风问题”对照检查材料思想汇报
2014/09/16 职场文书
产品陈列协议书(标准版)
2014/09/17 职场文书
2014年公务员退休工资改革方案
2014/10/01 职场文书
物业接待员岗位职责
2015/04/15 职场文书
golang import自定义包方式
2021/04/29 Golang