Python collections.deque双边队列原理详解


Posted in Python onOctober 05, 2020

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。

在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列(double-ended queue)的缩写,由于两端都能编辑,deque既可以用来实现栈(stack)也可以用来实现队列(queue)。

deque支持丰富的操作方法,主要方法如图:

Python collections.deque双边队列原理详解

相比于list实现的队列,deque实现拥有更低的时间和空间复杂度。list实现在出队(pop)和插入(insert)时的空间复杂度大约为O(n),deque在出队(pop)和入队(append)时的时间复杂度是O(1)。

deque也支持in操作符,可以使用如下写法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque还封装了顺逆时针的旋转的方法:rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]

# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

线程安全方面,通过查看collections.deque中的append()、pop()等方法的源码可以知道,他们都是原子操作,所以是GIL保护下的线程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) {
Py_INCREF(item);
if (deque_append_internal(deque, item, deque->maxlen) < 0)
return NULL;
Py_RETURN_NONE;
}

通过dis方法可以看到,append是原子操作(一行字节码)。

Python collections.deque双边队列原理详解

综上,collections.deque是一个可以方便实现队列的数据结构,具有线程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列,基于collections.deque,他们都提供了Queue(FIFO队列)、PriorityQueue(优先级队列)、LifoQueue(LIFO队列),接口方面也相同。

区别在于queue.Queue适用于多线程的场景,asyncio.Queue适用于协程场景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行,具体差异如下表:

  queue.Queue asyncio.Queue
介绍 同步队列 asyncio队列
线程安全
超时机制 通过timeout参数实现 通过asyncio.wait_for()方法实现
qsize() 预估的队列长度(获取qsize到下一个操作之间,queue有可能被其它的线程修改,导致qsize大小发生变化) 准确的队列长度(由于是单线程,所以queue不会被其它线程修改)
put() / set() put(item, block=True, timeout=None),可以通过设置block是否为True来配置put和set方法是否为阻塞,并且可以为阻塞操作设置最大时长timeout,block为False时行为和put_nowait()方法一致。 put()方法会返回一个协程对象,所以没有block参数和timeout参数,如果需要非阻塞方法,可以使用put_nowait(),如果需要对阻塞方法应用超时,可以使用coroutine asyncio.wait_for()。

multiprocessing.Queue

multiprocessing提供了三种队列,分别是Queue、SimpleQueue、JoinableQueue。

Python collections.deque双边队列原理详解

multiprocessing.Queue既是线程安全也是进程安全的,相当于queue.Queue的多进程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的,但是数据传递时并不是直接写入Pipe,而是写入进程本地buffer,通过一个feeder线程写入底层Pipe,这样做是为了实现超时控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为,close函数用来关闭feeder线程、join_thread用来join feeder线程,cancel_join_thread用来在控制在进程退出时,不自动join feeder线程,使用cancel_join_thread有可能导致部分数据没有被feeder写入Pipe而导致的数据丢失。

和threading.Queue不同的是,multiprocessing.Queue默认不支持join()和task_done操作,这两个支持需要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列,去掉了Queue中的buffer,没有了使用Queue可能出现的问题,但是put和get方法都是阻塞的并且没有超时控制。

总结

通过对比可以发现,上述四种结构都实现了队列,但是用处却各有偏重,collections.deque在数据结构层面实现了队列,但是并没有应用场景方面的支持,可以看做是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列,asyncio.queue模块则实现了面向多生产协程、多消费协程的队列,而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python常见数据结构详解
Jul 24 Python
Python实现获取网站PR及百度权重
Jan 21 Python
在Python的Django框架中包装视图函数
Jul 20 Python
python 写的一个爬虫程序源码
Feb 28 Python
Python随机数用法实例详解【基于random模块】
Apr 18 Python
python实现二分查找算法
Sep 21 Python
如何在Django中添加没有微秒的 DateTimeField 属性详解
Jan 30 Python
Python中的random.uniform()函数教程与实例解析
Mar 02 Python
Django项目基础配置和基本使用过程解析
Nov 25 Python
基于python3的socket聊天编程
Feb 17 Python
PyCharm 专业版安装图文教程
Feb 20 Python
python中print格式化输出的问题
Apr 16 Python
Python全局变量与global关键字常见错误解决方案
Oct 05 #Python
Python定时任务框架APScheduler原理及常用代码
Oct 05 #Python
Python xmltodict模块安装及代码实例
Oct 05 #Python
Python pathlib模块使用方法及实例解析
Oct 05 #Python
Python fileinput模块如何逐行读取多个文件
Oct 05 #Python
Python利用Pillow(PIL)库实现验证码图片的全过程
Oct 04 #Python
Python中random模块常用方法的使用教程
Oct 04 #Python
You might like
WAR3重制版DOTA 5V5初体验
2020/04/09 DOTA
PHP 第二节 数据类型之数组
2012/04/28 PHP
PHP实现将HTML5中Canvas图像保存到服务器的方法
2014/11/28 PHP
jquery常用特效方法使用示例
2014/04/25 Javascript
JavaScript获取网页支持表单字符集的方法
2015/04/02 Javascript
jQuery菜单插件superfish使用指南
2015/04/21 Javascript
Javascript实现获取及设置光标位置的方法
2015/07/21 Javascript
理解JS事件循环
2016/01/07 Javascript
AngularJS 中的指令实践开发指南(一)
2016/03/20 Javascript
ES6入门教程之Iterator与for...of循环详解
2017/05/17 Javascript
用javascript获取任意颜色的更亮或更暗颜色值示例代码
2017/07/21 Javascript
JavaScript执行环境及作用域链实例分析
2018/08/01 Javascript
layui table设置前台过滤转义等方法
2018/08/17 Javascript
微信公众号平台接口开发 菜单管理的实现
2019/08/14 Javascript
Python 使用os.remove删除文件夹时报错的解决方法
2017/01/13 Python
Python实现的生产者、消费者问题完整实例
2018/05/30 Python
基于python历史天气采集的分析
2019/02/14 Python
浅谈Python小波分析库Pywavelets的一点使用心得
2019/07/09 Python
django项目用higcharts统计最近七天文章点击量
2019/08/17 Python
Jupyter Notebook远程登录及密码设置操作
2020/04/10 Python
Python 如何操作 SQLite 数据库
2020/08/17 Python
SkinCeuticals官网:美国药妆品牌
2018/04/19 全球购物
有机童装:Toby Tiger
2018/05/23 全球购物
FitFlop美国官网:英国符合人体工学的鞋类品牌
2018/10/05 全球购物
德国Discount-Apotheke中文官网:DC德式康线上药房
2020/02/18 全球购物
小学班主任寄语大全
2014/04/04 职场文书
结对共建协议书
2014/08/20 职场文书
合作协议书范文
2014/08/20 职场文书
少先队活动总结
2014/08/29 职场文书
小班教师个人总结
2015/02/05 职场文书
2015年平安创建工作总结
2015/04/29 职场文书
岁月神偷观后感
2015/06/11 职场文书
企业反腐倡廉心得体会
2015/08/15 职场文书
读后感怎么写?书写读后感的基本技巧!
2019/12/10 职场文书
扩展多台相同的Web服务器
2021/04/01 Servers
Java 深入探究讲解简单工厂模式
2022/04/07 Java/Android