详解Python中的四种队列


Posted in Python onMay 21, 2018

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。

在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列(double-ended queue)的缩写,由于两端都能编辑,deque既可以用来实现栈(stack)也可以用来实现队列(queue)。

deque支持丰富的操作方法,主要方法如图:

详解Python中的四种队列 

相比于list实现的队列,deque实现拥有更低的时间和空间复杂度。list实现在出队(pop)和插入(insert)时的空间复杂度大约为O(n),deque在出队(pop)和入队(append)时的时间复杂度是O(1)。

deque也支持in操作符,可以使用如下写法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque还封装了顺逆时针的旋转的方法:rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]
# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

线程安全方面,collections.deque中的append()、pop()等方法都是原子操作,所以是GIL保护下的线程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) { 
 Py_INCREF(item);
 if (deque_append_internal(deque, item, deque->maxlen) < 0) 
 return NULL;
 Py_RETURN_NONE;
}

通过dis方法可以看到,append是原子操作(一行字节码)。

详解Python中的四种队列 

综上,collections.deque是一个可以方便实现队列的数据结构,具有线程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列,基于collections.deque,他们都提供了Queue(FIFO队列)、PriorityQueue(优先级队列)、LifoQueue(LIFO队列),接口方面也相同。

区别在于queue.Queue适用于多线程的场景,asyncio.Queue适用于协程场景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行,具体差异如下表:

详解Python中的四种队列

multiprocessing.Queue

multiprocessing提供了三种队列,分别是Queue、SimpleQueue、JoinableQueue。

详解Python中的四种队列 

multiprocessing.Queue既是线程安全也是进程安全的,相当于queue.Queue的多进程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的,但是数据传递时并不是直接写入Pipe,而是写入进程本地buffer,通过一个feeder线程写入底层Pipe,这样做是为了实现超时控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为,close函数用来关闭feeder线程、join_thread用来join feeder线程,cancel_join_thread用来在控制在进程退出时,不自动join feeder线程,使用cancel_join_thread有可能导致部分数据没有被feeder写入Pipe而导致的数据丢失。

和threading.Queue不同的是,multiprocessing.Queue默认不支持join()和task_done操作,这两个支持需要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列,去掉了Queue中的buffer,没有了使用Queue可能出现的问题,但是put和get方法都是阻塞的并且没有超时控制。

总结

通过对比可以发现,上述四种结构都实现了队列,但是用处却各有偏重,collections.deque在数据结构层面实现了队列,但是并没有应用场景方面的支持,可以看做是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列,asyncio.queue模块则实现了面向多生产协程、多消费协程的队列,而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

以上所述是小编给大家介绍的Python中的四种队列,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python中的魔法方法深入理解
Jul 09 Python
Python入门及进阶笔记 Python 内置函数小结
Aug 09 Python
python生成excel的实例代码
Nov 08 Python
Python实现的归并排序算法示例
Nov 21 Python
flask session组件的使用示例
Dec 25 Python
python config文件的读写操作示例
Sep 27 Python
python模块常用用法实例详解
Oct 17 Python
python带参数打包exe及调用方式
Dec 21 Python
python爬取王者荣耀全皮肤的简单实现代码
Jan 31 Python
pyqt5 QlistView列表显示的实现示例
Mar 24 Python
python pandas.DataFrame.loc函数使用详解
Mar 26 Python
Python探索生命起源 matplotlib细胞自动机动画演示
Apr 21 Python
Python实现的当前时间多加一天、一小时、一分钟操作示例
May 21 #Python
Python自定义函数实现求两个数最大公约数、最小公倍数示例
May 21 #Python
Python基于递归和非递归算法求两个数最大公约数、最小公倍数示例
May 21 #Python
Python常用字符串替换函数strip、replace及sub用法示例
May 21 #Python
Python下使用Scrapy爬取网页内容的实例
May 21 #Python
python 每天如何定时启动爬虫任务(实现方法分享)
May 21 #Python
对python抓取需要登录网站数据的方法详解
May 21 #Python
You might like
PHP整合PayPal支付
2015/06/11 PHP
一个css与js结合的下拉菜单支持主流浏览器
2014/10/08 Javascript
jQuery多媒体插件jQuery Media Plugin使用详解
2014/12/19 Javascript
jQuery中focus事件用法实例
2014/12/26 Javascript
Bootstrap在线电子商务网站实战项目5
2016/10/14 Javascript
jquery横向纵向鼠标滚轮全屏切换
2017/02/27 Javascript
js实现3D图片展示效果
2017/03/09 Javascript
深入理解React中何时使用箭头函数
2017/08/23 Javascript
浅析vue-cli3配置webpack-bundle-analyzer插件【推荐】
2019/10/23 Javascript
[01:16:01]VGJ.S vs Mski Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
python模块之re正则表达式详解
2017/02/03 Python
Python在groupby分组后提取指定位置记录方法
2018/04/20 Python
pip install urllib2不能安装的解决方法
2018/06/12 Python
python初学者,用python实现基本的学生管理系统(python3)代码实例
2019/04/10 Python
Python实现的排列组合、破解密码算法示例
2019/04/12 Python
Python3+OpenCV2实现图像的几何变换(平移、镜像、缩放、旋转、仿射)
2019/05/13 Python
django 自定义过滤器(filter)处理较为复杂的变量方法
2019/08/12 Python
Windows10下Tensorflow2.0 安装及环境配置教程(图文)
2019/11/21 Python
python3 常见解密加密算法实例分析【base64、MD5等】
2019/12/19 Python
Python openpyxl模块原理及用法解析
2020/01/19 Python
Tensorflow训练模型越来越慢的2种解决方案
2020/02/07 Python
python爬取音频下载的示例代码
2020/10/19 Python
python软件测试Jmeter性能测试JDBC Request(结合数据库)的使用详解
2021/01/26 Python
python中os.remove()用法及注意事项
2021/01/31 Python
pip install命令安装扩展库整理
2021/03/02 Python
外科实习自我鉴定
2013/10/06 职场文书
关于礼仪的演讲稿
2014/01/04 职场文书
公益广告宣传方案
2014/02/28 职场文书
我读书我快乐演讲稿
2014/05/07 职场文书
计划生育宣传标语
2014/06/21 职场文书
专家推荐信怎么写
2015/03/25 职场文书
2015年上半年信访工作总结
2015/03/30 职场文书
2016年小学圣诞节活动总结
2016/03/31 职场文书
范文之农村基层党建工作报告
2019/10/24 职场文书
Python中的xlrd模块使用整理
2021/06/15 Python
企业开发CSS命名BEM代码规范实践
2022/02/12 HTML / CSS