详解Python中的四种队列


Posted in Python onMay 21, 2018

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。

在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列(double-ended queue)的缩写,由于两端都能编辑,deque既可以用来实现栈(stack)也可以用来实现队列(queue)。

deque支持丰富的操作方法,主要方法如图:

详解Python中的四种队列 

相比于list实现的队列,deque实现拥有更低的时间和空间复杂度。list实现在出队(pop)和插入(insert)时的空间复杂度大约为O(n),deque在出队(pop)和入队(append)时的时间复杂度是O(1)。

deque也支持in操作符,可以使用如下写法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque还封装了顺逆时针的旋转的方法:rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]
# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

线程安全方面,collections.deque中的append()、pop()等方法都是原子操作,所以是GIL保护下的线程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) { 
 Py_INCREF(item);
 if (deque_append_internal(deque, item, deque->maxlen) < 0) 
 return NULL;
 Py_RETURN_NONE;
}

通过dis方法可以看到,append是原子操作(一行字节码)。

详解Python中的四种队列 

综上,collections.deque是一个可以方便实现队列的数据结构,具有线程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列,基于collections.deque,他们都提供了Queue(FIFO队列)、PriorityQueue(优先级队列)、LifoQueue(LIFO队列),接口方面也相同。

区别在于queue.Queue适用于多线程的场景,asyncio.Queue适用于协程场景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行,具体差异如下表:

详解Python中的四种队列

multiprocessing.Queue

multiprocessing提供了三种队列,分别是Queue、SimpleQueue、JoinableQueue。

详解Python中的四种队列 

multiprocessing.Queue既是线程安全也是进程安全的,相当于queue.Queue的多进程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的,但是数据传递时并不是直接写入Pipe,而是写入进程本地buffer,通过一个feeder线程写入底层Pipe,这样做是为了实现超时控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为,close函数用来关闭feeder线程、join_thread用来join feeder线程,cancel_join_thread用来在控制在进程退出时,不自动join feeder线程,使用cancel_join_thread有可能导致部分数据没有被feeder写入Pipe而导致的数据丢失。

和threading.Queue不同的是,multiprocessing.Queue默认不支持join()和task_done操作,这两个支持需要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列,去掉了Queue中的buffer,没有了使用Queue可能出现的问题,但是put和get方法都是阻塞的并且没有超时控制。

总结

通过对比可以发现,上述四种结构都实现了队列,但是用处却各有偏重,collections.deque在数据结构层面实现了队列,但是并没有应用场景方面的支持,可以看做是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列,asyncio.queue模块则实现了面向多生产协程、多消费协程的队列,而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

以上所述是小编给大家介绍的Python中的四种队列,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python写的一个简单DNS服务器实例
Jun 04 Python
python安装与使用redis的方法
Apr 19 Python
python字符串中的单双引
Feb 16 Python
TensorFlow实现卷积神经网络
May 24 Python
python之线程通过信号pyqtSignal刷新ui的方法
Jan 11 Python
django模板结构优化的方法
Feb 28 Python
详解Python学习之安装pandas
Apr 16 Python
Python+OpenCV采集本地摄像头的视频
Apr 25 Python
numpy concatenate数组拼接方法示例介绍
May 27 Python
使用Python实现 学生学籍管理系统
Nov 26 Python
matplotlib 曲线图 和 折线图 plt.plot()实例
Apr 17 Python
keras 使用Lambda 快速新建层 添加多个参数操作
Jun 10 Python
Python实现的当前时间多加一天、一小时、一分钟操作示例
May 21 #Python
Python自定义函数实现求两个数最大公约数、最小公倍数示例
May 21 #Python
Python基于递归和非递归算法求两个数最大公约数、最小公倍数示例
May 21 #Python
Python常用字符串替换函数strip、replace及sub用法示例
May 21 #Python
Python下使用Scrapy爬取网页内容的实例
May 21 #Python
python 每天如何定时启动爬虫任务(实现方法分享)
May 21 #Python
对python抓取需要登录网站数据的方法详解
May 21 #Python
You might like
PHP实现的简单sha1加密功能示例
2017/08/27 PHP
php中curl和soap方式请求服务超时问题的解决
2018/06/11 PHP
PHP实现Markdown文章上传到七牛图床的实例内容
2020/02/11 PHP
firefox事件处理之自动查找event的函数(用于onclick=foo())
2010/08/05 Javascript
国外大牛IE版本检测!现在IE都到9了,IE检测代码
2012/01/04 Javascript
禁止拷贝网页内容的js代码
2014/01/22 Javascript
基于BootStrap Metronic开发框架经验小结【三】下拉列表Select2插件的使用
2016/05/12 Javascript
js 基础篇必看(点击事件轮播图的简单实现)
2016/08/20 Javascript
Bootstrap Tree View简单而优雅的树结构组件实例解析
2017/06/15 Javascript
vue 文件目录结构详解
2017/11/24 Javascript
JavaScript选择排序算法原理与实现方法示例
2018/08/06 Javascript
解决Angular2 router.navigate刷新页面的问题
2018/08/31 Javascript
VueCli3.0中集成MockApi的方法示例
2019/07/05 Javascript
webgl实现物体描边效果的方法介绍
2019/11/27 Javascript
JavaScript函数重载操作实例浅析
2020/05/02 Javascript
js实现滑动进度条效果
2020/08/21 Javascript
使用Python中的cookielib模拟登录网站
2015/04/09 Python
使用NumPy和pandas对CSV文件进行写操作的实例
2018/06/14 Python
python 按不同维度求和,最值,均值的实例
2018/06/28 Python
如何将 awk 脚本移植到 Python
2019/12/09 Python
Python进程的通信Queue、Pipe实例分析
2020/03/30 Python
python中编写函数并调用的知识点总结
2021/01/13 Python
一个不错的HTML5 Canvas多层点击事件监听实例
2014/04/29 HTML / CSS
美国知名的旅游网站:OneTravel
2018/10/09 全球购物
Bulk Powders意大利:运动补充在线商店
2019/02/09 全球购物
伦敦最受欢迎的蛋糕店:Konditor & Cook
2019/11/01 全球购物
护理专业毕业生自我鉴定
2013/10/08 职场文书
史学专业毕业生求职信
2014/05/09 职场文书
暑期学习心得体会
2014/09/02 职场文书
乡镇党员群众路线教育实践活动对照检查材料思想汇报
2014/10/05 职场文书
关于运动会广播稿300字
2014/10/05 职场文书
公安机关正风肃纪剖析材料
2014/10/10 职场文书
创业计划书之DIY自助厨房
2019/09/06 职场文书
css 边框添加四个角的实现代码
2021/10/16 HTML / CSS
Win10鼠标轨迹怎么开 Win10显示鼠标轨迹方法
2022/04/06 数码科技
Rust中的Struct使用示例详解
2022/08/14 Javascript