详解Python中的四种队列


Posted in Python onMay 21, 2018

队列是一种只允许在一端进行插入操作,而在另一端进行删除操作的线性表。

在Python文档中搜索队列(queue)会发现,Python标准库中包含了四种队列,分别是queue.Queue / asyncio.Queue / multiprocessing.Queue / collections.deque。

collections.deque

deque是双端队列(double-ended queue)的缩写,由于两端都能编辑,deque既可以用来实现栈(stack)也可以用来实现队列(queue)。

deque支持丰富的操作方法,主要方法如图:

详解Python中的四种队列 

相比于list实现的队列,deque实现拥有更低的时间和空间复杂度。list实现在出队(pop)和插入(insert)时的空间复杂度大约为O(n),deque在出队(pop)和入队(append)时的时间复杂度是O(1)。

deque也支持in操作符,可以使用如下写法:

q = collections.deque([1, 2, 3, 4])
print(5 in q) # False
print(1 in q) # True

deque还封装了顺逆时针的旋转的方法:rotate。

# 顺时针
q = collections.deque([1, 2, 3, 4])
q.rotate(1)
print(q) # [4, 1, 2, 3]
q.rotate(1)
print(q) # [3, 4, 1, 2]
# 逆时针
q = collections.deque([1, 2, 3, 4])
q.rotate(-1)
print(q) # [2, 3, 4, 1]
q.rotate(-1)
print(q) # [3, 4, 1, 2]

线程安全方面,collections.deque中的append()、pop()等方法都是原子操作,所以是GIL保护下的线程安全方法。

static PyObject *
deque_append(dequeobject *deque, PyObject *item) { 
 Py_INCREF(item);
 if (deque_append_internal(deque, item, deque->maxlen) < 0) 
 return NULL;
 Py_RETURN_NONE;
}

通过dis方法可以看到,append是原子操作(一行字节码)。

详解Python中的四种队列 

综上,collections.deque是一个可以方便实现队列的数据结构,具有线程安全的特性,并且有很高的性能。

queue.Queue & asyncio.Queue

queue.Queue和asyncio.Queue都是支持多生产者、多消费者的队列,基于collections.deque,他们都提供了Queue(FIFO队列)、PriorityQueue(优先级队列)、LifoQueue(LIFO队列),接口方面也相同。

区别在于queue.Queue适用于多线程的场景,asyncio.Queue适用于协程场景下的通信,由于asyncio的加成,queue.Queue下的阻塞接口在asyncio.Queue中则是以返回协程对象的方式执行,具体差异如下表:

详解Python中的四种队列

multiprocessing.Queue

multiprocessing提供了三种队列,分别是Queue、SimpleQueue、JoinableQueue。

详解Python中的四种队列 

multiprocessing.Queue既是线程安全也是进程安全的,相当于queue.Queue的多进程克隆版。和threading.Queue很像,multiprocessing.Queue支持put和get操作,底层结构是multiprocessing.Pipe。

multiprocessing.Queue底层是基于Pipe构建的,但是数据传递时并不是直接写入Pipe,而是写入进程本地buffer,通过一个feeder线程写入底层Pipe,这样做是为了实现超时控制和非阻塞put/get,所以Queue提供了join_thread、cancel_join_thread、close函数来控制feeder的行为,close函数用来关闭feeder线程、join_thread用来join feeder线程,cancel_join_thread用来在控制在进程退出时,不自动join feeder线程,使用cancel_join_thread有可能导致部分数据没有被feeder写入Pipe而导致的数据丢失。

和threading.Queue不同的是,multiprocessing.Queue默认不支持join()和task_done操作,这两个支持需要使用mp.JoinableQueue对象。

SimpleQueue是一个简化的队列,去掉了Queue中的buffer,没有了使用Queue可能出现的问题,但是put和get方法都是阻塞的并且没有超时控制。

总结

通过对比可以发现,上述四种结构都实现了队列,但是用处却各有偏重,collections.deque在数据结构层面实现了队列,但是并没有应用场景方面的支持,可以看做是一个基础的数据结构。queue模块实现了面向多生产线程、多消费线程的队列,asyncio.queue模块则实现了面向多生产协程、多消费协程的队列,而multiprocessing.queue模块实现了面向多成产进程、多消费进程的队列。

以上所述是小编给大家介绍的Python中的四种队列,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
在Python下进行UDP网络编程的教程
Apr 29 Python
Python的自动化部署模块Fabric的安装及使用指南
Jan 19 Python
python运行时间的几种方法
Jun 17 Python
Python键盘输入转换为列表的实例
Jun 23 Python
Python TestCase中的断言方法介绍
May 02 Python
django如何自己创建一个中间件
Jul 24 Python
python基于json文件实现的gearman任务自动重启代码实例
Aug 13 Python
Pytorch evaluation每次运行结果不同的解决
Jan 02 Python
python识别验证码图片实例详解
Feb 17 Python
Python matplotlib画图时图例说明(legend)放到图像外侧详解
May 16 Python
Python unittest如何生成HTMLTestRunner模块
Sep 08 Python
Python的collections模块真的很好用
Mar 01 Python
Python实现的当前时间多加一天、一小时、一分钟操作示例
May 21 #Python
Python自定义函数实现求两个数最大公约数、最小公倍数示例
May 21 #Python
Python基于递归和非递归算法求两个数最大公约数、最小公倍数示例
May 21 #Python
Python常用字符串替换函数strip、replace及sub用法示例
May 21 #Python
Python下使用Scrapy爬取网页内容的实例
May 21 #Python
python 每天如何定时启动爬虫任务(实现方法分享)
May 21 #Python
对python抓取需要登录网站数据的方法详解
May 21 #Python
You might like
PHP数组和explode函数示例总结
2015/05/08 PHP
Adnroid 微信内置浏览器清除缓存
2016/07/11 PHP
PHP编程文件处理类SplFileObject和SplFileInfo用法实例分析
2017/07/22 PHP
php接口隔离原则实例分析
2019/11/11 PHP
JQuery插件Style定制化方法的分析与比较
2012/05/03 Javascript
jquery 漂亮的删除确认和提交无刷新删除示例
2013/11/13 Javascript
jQuery横向擦除焦点图特效代码分享
2015/09/06 Javascript
JavaScript实现瀑布流布局
2020/06/28 Javascript
JS动态增删表格行的方法
2016/03/03 Javascript
深入理解JS正则表达式---分组
2016/07/18 Javascript
原生JS实现图片翻书效果
2017/02/16 Javascript
VueJs单页应用实现微信网页授权及微信分享功能示例
2017/07/26 Javascript
浅谈Vue.js应用的四种AJAX请求数据模式
2017/08/30 Javascript
11行JS代码制作二维码生成功能
2018/03/09 Javascript
Nodejs把接收图片base64格式保存为文件存储到服务器上
2018/09/26 NodeJs
javascript数组去重方法总结(推荐)
2019/03/20 Javascript
微信小程序网络层封装的实现(promise, 登录锁)
2019/05/08 Javascript
Vue 动态组件components和v-once指令的实现
2019/08/30 Javascript
解决使用layui的时候form表单中的select等不能渲染的问题
2019/09/18 Javascript
小程序实现多个选项卡切换
2020/06/19 Javascript
vue element 关闭当前tab 跳转到上一路由操作
2020/07/22 Javascript
Vue 根据条件判断van-tab的显示方式
2020/08/03 Javascript
JavaScript实现随机点名小程序
2020/10/29 Javascript
Python中的filter()函数的用法
2015/04/27 Python
更改Ubuntu默认python版本的两种方法python-&gt; Anaconda
2016/12/18 Python
Python3实现的简单验证码识别功能示例
2018/05/02 Python
pytorch 实现tensor与numpy数组转换
2019/12/27 Python
plt.figure()参数使用详解及运行演示
2021/01/08 Python
html5 乒乓球(碰撞检测)实例二
2013/07/25 HTML / CSS
关于webview适配H5上传照片或者视频文件的方法
2020/11/04 HTML / CSS
澳大利亚个性化儿童礼品网站:Bright Star Kids
2019/06/14 全球购物
Visual-Click葡萄牙:欧洲领先的在线眼镜商
2020/02/17 全球购物
htmlentities() 和 htmlspecialchars()有什么区别
2015/07/01 面试题
实习报告怎么写
2019/06/20 职场文书
Memcached介绍及php-memcache扩展安装
2021/04/01 PHP
手写实现JS中的new
2021/11/07 Javascript