Python实现优先级队列结构的方法详解


Posted in Python onJune 02, 2016

最简单的实现
一个队列至少满足2个方法,put和get.
借助最小堆来实现.
这里按"值越大优先级越高"的顺序.

#coding=utf-8 
from heapq import heappush, heappop 
class PriorityQueue: 
  def __init__(self): 
    self._queue = [] 
 
  def put(self, item, priority): 
    heappush(self._queue, (-priority, item)) 
 
  def get(self): 
    return heappop(self._queue)[-1] 
 
q = PriorityQueue() 
q.put('world', 1) 
q.put('hello', 2) 
print q.get() 
print q.get()

 使用heapq模块来实现
下面的类利用 heapq 模块实现了一个简单的优先级队列:

import heapq

class PriorityQueue:
  def __init__(self):
    self._queue = []
    self._index = 0

  def push(self, item, priority):
    heapq.heappush(self._queue, (-priority, self._index, item))
    self._index += 1

  def pop(self):
    return heapq.heappop(self._queue)[-1]

下面是它的使用方式:

>>> class Item:
...   def __init__(self, name):
...     self.name = name
...   def __repr__(self):
...     return 'Item({!r})'.format(self.name)
...
>>> q = PriorityQueue()
>>> q.push(Item('foo'), 1)
>>> q.push(Item('bar'), 5)
>>> q.push(Item('spam'), 4)
>>> q.push(Item('grok'), 1)
>>> q.pop()
Item('bar')
>>> q.pop()
Item('spam')
>>> q.pop()
Item('foo')
>>> q.pop()
Item('grok')
>>>

仔细观察可以发现,第一个 pop() 操作返回优先级最高的元素。 另外注意到如果两个有着相同优先级的元素( foo 和 grok ),pop操作按照它们被插入到队列的顺序返回的。

 函数 heapq.heappush() 和 heapq.heappop() 分别在队列 _queue 上插入和删除第一个元素, 并且队列_queue保证第一个元素拥有最小优先级(1.4节已经讨论过这个问题)。 heappop() 函数总是返回”最小的”的元素,这就是保证队列pop操作返回正确元素的关键。 另外,由于push和pop操作时间复杂度为O(log N),其中N是堆的大小,因此就算是N很大的时候它们运行速度也依旧很快。

在上面代码中,队列包含了一个 (-priority, index, item) 的元组。 优先级为负数的目的是使得元素按照优先级从高到低排序。 这个跟普通的按优先级从低到高排序的堆排序恰巧相反。

index 变量的作用是保证同等优先级元素的正确排序。 通过保存一个不断增加的 index 下标变量,可以确保元素按照它们插入的顺序排序。 而且, index 变量也在相同优先级元素比较的时候起到重要作用。

为了阐明这些,先假定Item实例是不支持排序的:

>>> a = Item('foo')
>>> b = Item('bar')
>>> a < b
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

如果你使用元组 (priority, item) ,只要两个元素的优先级不同就能比较。 但是如果两个元素优先级一样的话,那么比较操作就会跟之前一样出错:

>>> a = (1, Item('foo'))
>>> b = (5, Item('bar'))
>>> a < b
True
>>> c = (1, Item('grok'))
>>> a < c
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

通过引入另外的 index 变量组成三元组 (priority, index, item) ,就能很好的避免上面的错误, 因为不可能有两个元素有相同的 index 值。Python在做元组比较时候,如果前面的比较以及可以确定结果了, 后面的比较操作就不会发生了:

>>> a = (1, 0, Item('foo'))
>>> b = (5, 1, Item('bar'))
>>> c = (1, 2, Item('grok'))
>>> a < b
True
>>> a < c
True
>>>

如果你想在多个线程中使用同一个队列,那么你需要增加适当的锁和信号量机制。 可以查看12.3小节的例子演示是怎样做的。

深入思考
函数 heapq.heappush() 和 heapq.heappop() 分别在队列 _queue 上插入和删除第一个元素, 并且队列_queue保证第一个元素拥有最小优先级(1.4节已经讨论过这个问题)。 heappop() 函数总是返回”最小的”的元素,这就是保证队列pop操作返回正确元素的关键。 另外,由于push和pop操作时间复杂度为O(log N),其中N是堆的大小,因此就算是N很大的时候它们运行速度也依旧很快。

在上面代码中,队列包含了一个 (-priority, index, item) 的元组。 优先级为负数的目的是使得元素按照优先级从高到低排序。 这个跟普通的按优先级从低到高排序的堆排序恰巧相反。

index 变量的作用是保证同等优先级元素的正确排序。 通过保存一个不断增加的 index 下标变量,可以确保元素按照它们插入的顺序排序。 而且, index 变量也在相同优先级元素比较的时候起到重要作用。

为了阐明这些,先假定Item实例是不支持排序的:

>>> a = Item('foo')
>>> b = Item('bar')
>>> a < b
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

如果你使用元组 (priority, item) ,只要两个元素的优先级不同就能比较。 但是如果两个元素优先级一样的话,那么比较操作就会跟之前一样出错:

>>> a = (1, Item('foo'))
>>> b = (5, Item('bar'))
>>> a < b
True
>>> c = (1, Item('grok'))
>>> a < c
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

通过引入另外的 index 变量组成三元组 (priority, index, item) ,就能很好的避免上面的错误, 因为不可能有两个元素有相同的 index 值。Python在做元组比较时候,如果前面的比较以及可以确定结果了, 后面的比较操作就不会发生了:

>>> a = (1, 0, Item('foo'))
>>> b = (5, 1, Item('bar'))
>>> c = (1, 2, Item('grok'))
>>> a < b
True
>>> a < c
True
>>>

如果你想在多个线程中使用同一个队列,那么你需要增加适当的锁和信号量机制。 可以查看12.3小节的例子演示是怎样做的。

heapq 模块的官方文档有更详细的例子程序以及对于堆理论及其实现的详细说明。

Python 相关文章推荐
python执行等待程序直到第二天零点的方法
Apr 23 Python
Python实现霍夫圆和椭圆变换代码详解
Jan 12 Python
快速解决PyCharm无法引用matplotlib的问题
May 24 Python
目前最全的python的就业方向
Jun 05 Python
对Xpath 获取子标签下所有文本的方法详解
Jan 02 Python
对Python中的条件判断、循环以及循环的终止方法详解
Feb 08 Python
详解python爬虫系列之初识爬虫
Apr 06 Python
python基于socket进行端口转发实现后门隐藏的示例
Jul 25 Python
执行Django数据迁移时报 1091错误及解决方法
Oct 14 Python
Python实现不规则图形填充的思路
Feb 02 Python
Python实现遗传算法(二进制编码)求函数最优值方式
Feb 11 Python
Numpy(Pandas)删除全为零的列的方法
Sep 11 Python
KMP算法精解及其Python版的代码示例
Jun 01 #Python
Python缩进和冒号详解
Jun 01 #Python
Python注释详解
Jun 01 #Python
深入理解python try异常处理机制
Jun 01 #Python
python学习 流程控制语句详解
Jun 01 #Python
python+Django+apache的配置方法详解
Jun 01 #Python
python中函数默认值使用注意点详解
Jun 01 #Python
You might like
PHP对象克隆clone用法示例
2016/09/28 PHP
PHP后台微信支付和支付宝支付开发
2017/04/28 PHP
PHP实现通过二维数组键值获取一维键名操作示例
2019/10/11 PHP
Nigma vs Liquid BO3 第一场2.13
2021/03/10 DOTA
jQuery实现 注册时选择阅读条款 左右移动
2013/04/11 Javascript
js播放wav文件(源码)
2013/04/22 Javascript
jquery ready函数、css函数及text()使用示例
2013/09/27 Javascript
javascript数组去重方法终极总结
2014/06/05 Javascript
jQuery多级弹出菜单插件ZoneMenu
2014/12/18 Javascript
js事件处理程序跨浏览器解决方案
2016/03/27 Javascript
javascript实现二叉树的代码
2017/06/08 Javascript
探究react-native 源码的图片缓存问题
2017/08/24 Javascript
Angular使用Md5加密的解决方法
2017/09/16 Javascript
javascript中undefined的本质解析
2019/07/31 Javascript
jQuery三组基本动画与自定义动画操作实例总结
2020/05/09 jQuery
easyUI使用分页过滤器对数据进行分页操作实例分析
2020/06/01 Javascript
原生js实现拖拽移动与缩放效果
2020/08/24 Javascript
[02:41]DOTA2亚洲邀请赛小组赛第三日 赛事回顾
2015/02/01 DOTA
跟老齐学Python之编写类之一创建实例
2014/10/11 Python
利用Python中的输入和输出功能进行读取和写入的教程
2015/04/14 Python
Python实现接受任意个数参数的函数方法
2018/04/21 Python
Python使用Flask-SQLAlchemy连接数据库操作示例
2018/08/31 Python
详解爬虫被封的问题
2019/04/23 Python
Python中filter与lambda的结合使用详解
2019/12/24 Python
音频处理 windows10下python三方库librosa安装教程
2020/06/20 Python
Python3 ffmpeg视频转换工具使用方法解析
2020/08/10 Python
Python tkinter之Bind(绑定事件)的使用示例
2021/02/05 Python
HTML文本属性&amp;颜色控制属性的实现
2019/12/17 HTML / CSS
澳大利亚家庭花园和DIY工具网店:VidaXL
2019/05/03 全球购物
铭立家具面试题
2012/12/06 面试题
班主任师德师风自我剖析材料
2014/10/02 职场文书
2014年图书室工作总结
2014/12/09 职场文书
初三英语教学计划
2015/01/23 职场文书
家长反馈意见及建议
2015/06/03 职场文书
领导离职感言
2015/08/03 职场文书
深入理解以DEBUG方式线程的底层运行原理
2021/06/21 Java/Android