Python实现优先级队列结构的方法详解


Posted in Python onJune 02, 2016

最简单的实现
一个队列至少满足2个方法,put和get.
借助最小堆来实现.
这里按"值越大优先级越高"的顺序.

#coding=utf-8 
from heapq import heappush, heappop 
class PriorityQueue: 
  def __init__(self): 
    self._queue = [] 
 
  def put(self, item, priority): 
    heappush(self._queue, (-priority, item)) 
 
  def get(self): 
    return heappop(self._queue)[-1] 
 
q = PriorityQueue() 
q.put('world', 1) 
q.put('hello', 2) 
print q.get() 
print q.get()

 使用heapq模块来实现
下面的类利用 heapq 模块实现了一个简单的优先级队列:

import heapq

class PriorityQueue:
  def __init__(self):
    self._queue = []
    self._index = 0

  def push(self, item, priority):
    heapq.heappush(self._queue, (-priority, self._index, item))
    self._index += 1

  def pop(self):
    return heapq.heappop(self._queue)[-1]

下面是它的使用方式:

>>> class Item:
...   def __init__(self, name):
...     self.name = name
...   def __repr__(self):
...     return 'Item({!r})'.format(self.name)
...
>>> q = PriorityQueue()
>>> q.push(Item('foo'), 1)
>>> q.push(Item('bar'), 5)
>>> q.push(Item('spam'), 4)
>>> q.push(Item('grok'), 1)
>>> q.pop()
Item('bar')
>>> q.pop()
Item('spam')
>>> q.pop()
Item('foo')
>>> q.pop()
Item('grok')
>>>

仔细观察可以发现,第一个 pop() 操作返回优先级最高的元素。 另外注意到如果两个有着相同优先级的元素( foo 和 grok ),pop操作按照它们被插入到队列的顺序返回的。

 函数 heapq.heappush() 和 heapq.heappop() 分别在队列 _queue 上插入和删除第一个元素, 并且队列_queue保证第一个元素拥有最小优先级(1.4节已经讨论过这个问题)。 heappop() 函数总是返回”最小的”的元素,这就是保证队列pop操作返回正确元素的关键。 另外,由于push和pop操作时间复杂度为O(log N),其中N是堆的大小,因此就算是N很大的时候它们运行速度也依旧很快。

在上面代码中,队列包含了一个 (-priority, index, item) 的元组。 优先级为负数的目的是使得元素按照优先级从高到低排序。 这个跟普通的按优先级从低到高排序的堆排序恰巧相反。

index 变量的作用是保证同等优先级元素的正确排序。 通过保存一个不断增加的 index 下标变量,可以确保元素按照它们插入的顺序排序。 而且, index 变量也在相同优先级元素比较的时候起到重要作用。

为了阐明这些,先假定Item实例是不支持排序的:

>>> a = Item('foo')
>>> b = Item('bar')
>>> a < b
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

如果你使用元组 (priority, item) ,只要两个元素的优先级不同就能比较。 但是如果两个元素优先级一样的话,那么比较操作就会跟之前一样出错:

>>> a = (1, Item('foo'))
>>> b = (5, Item('bar'))
>>> a < b
True
>>> c = (1, Item('grok'))
>>> a < c
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

通过引入另外的 index 变量组成三元组 (priority, index, item) ,就能很好的避免上面的错误, 因为不可能有两个元素有相同的 index 值。Python在做元组比较时候,如果前面的比较以及可以确定结果了, 后面的比较操作就不会发生了:

>>> a = (1, 0, Item('foo'))
>>> b = (5, 1, Item('bar'))
>>> c = (1, 2, Item('grok'))
>>> a < b
True
>>> a < c
True
>>>

如果你想在多个线程中使用同一个队列,那么你需要增加适当的锁和信号量机制。 可以查看12.3小节的例子演示是怎样做的。

深入思考
函数 heapq.heappush() 和 heapq.heappop() 分别在队列 _queue 上插入和删除第一个元素, 并且队列_queue保证第一个元素拥有最小优先级(1.4节已经讨论过这个问题)。 heappop() 函数总是返回”最小的”的元素,这就是保证队列pop操作返回正确元素的关键。 另外,由于push和pop操作时间复杂度为O(log N),其中N是堆的大小,因此就算是N很大的时候它们运行速度也依旧很快。

在上面代码中,队列包含了一个 (-priority, index, item) 的元组。 优先级为负数的目的是使得元素按照优先级从高到低排序。 这个跟普通的按优先级从低到高排序的堆排序恰巧相反。

index 变量的作用是保证同等优先级元素的正确排序。 通过保存一个不断增加的 index 下标变量,可以确保元素按照它们插入的顺序排序。 而且, index 变量也在相同优先级元素比较的时候起到重要作用。

为了阐明这些,先假定Item实例是不支持排序的:

>>> a = Item('foo')
>>> b = Item('bar')
>>> a < b
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

如果你使用元组 (priority, item) ,只要两个元素的优先级不同就能比较。 但是如果两个元素优先级一样的话,那么比较操作就会跟之前一样出错:

>>> a = (1, Item('foo'))
>>> b = (5, Item('bar'))
>>> a < b
True
>>> c = (1, Item('grok'))
>>> a < c
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

通过引入另外的 index 变量组成三元组 (priority, index, item) ,就能很好的避免上面的错误, 因为不可能有两个元素有相同的 index 值。Python在做元组比较时候,如果前面的比较以及可以确定结果了, 后面的比较操作就不会发生了:

>>> a = (1, 0, Item('foo'))
>>> b = (5, 1, Item('bar'))
>>> c = (1, 2, Item('grok'))
>>> a < b
True
>>> a < c
True
>>>

如果你想在多个线程中使用同一个队列,那么你需要增加适当的锁和信号量机制。 可以查看12.3小节的例子演示是怎样做的。

heapq 模块的官方文档有更详细的例子程序以及对于堆理论及其实现的详细说明。

Python 相关文章推荐
Python去掉字符串中空格的方法
Mar 11 Python
Python 探针的实现原理
Apr 23 Python
python实现感知器
Dec 19 Python
简单实现python数独游戏
Mar 30 Python
基于python的多进程共享变量正确打开方式
Apr 28 Python
基于Python解密仿射密码
Oct 21 Python
如何获取Python简单for循环索引
Nov 21 Python
使用 Python 合并多个格式一致的 Excel 文件(推荐)
Dec 09 Python
Python concurrent.futures模块使用实例
Dec 24 Python
解决jupyter notebook import error但是命令提示符import正常的问题
Apr 15 Python
python3.x中安装web.py步骤方法
Jun 23 Python
使用python创建股票的时间序列可视化分析
Mar 03 Python
KMP算法精解及其Python版的代码示例
Jun 01 #Python
Python缩进和冒号详解
Jun 01 #Python
Python注释详解
Jun 01 #Python
深入理解python try异常处理机制
Jun 01 #Python
python学习 流程控制语句详解
Jun 01 #Python
python+Django+apache的配置方法详解
Jun 01 #Python
python中函数默认值使用注意点详解
Jun 01 #Python
You might like
PHP parse_url 一个好用的函数
2009/10/03 PHP
thinkPHP5.0框架自动加载机制分析
2017/03/18 PHP
自制PHP框架之设计模式
2017/05/07 PHP
javascript基础的动画教程,直观易懂
2007/01/10 Javascript
JS获取随机数函数可自定义最小值最大值
2014/05/08 Javascript
jQuery中empty()方法用法实例
2015/01/16 Javascript
JS实现控制表格行内容垂直对齐的方法
2015/03/30 Javascript
使用JavaScript和CSS实现文本隔行换色的方法
2015/11/04 Javascript
JS+JSP通过img标签调用实现静态页面访问次数统计的方法
2015/12/14 Javascript
JavaScript+html5 canvas制作的圆中圆效果实例
2016/01/27 Javascript
简单实现IONIC购物车功能
2017/01/10 Javascript
微信小程序 商城开发(ecshop )简单实例
2017/04/07 Javascript
微信小程序实现登录页云层漂浮的动画效果
2017/05/05 Javascript
JS实现的四级密码强度检测功能示例
2017/05/11 Javascript
浅谈js闭包理解
2019/03/28 Javascript
简单说说如何使用vue-router插件的方法
2019/04/08 Javascript
微信小程序 swiper 组件遇到的问题及解决方法
2019/05/26 Javascript
layUI实现列表查询功能
2019/07/27 Javascript
javascript中innerHTML 获取或替换html内容的实现代码
2020/03/17 Javascript
关于vue 结合原生js 解决echarts resize问题
2020/07/26 Javascript
[00:34]TI7不朽珍藏III——地穴编织者不朽展示
2017/07/15 DOTA
[42:24]完美世界DOTA2联赛循环赛 LBZS vs DM BO2第一场 11.01
2020/11/02 DOTA
Python open()文件处理使用介绍
2014/11/30 Python
OpenCV实现人脸识别
2017/04/07 Python
python 动态迁移solr数据过程解析
2019/09/04 Python
Python绘制三角函数图(sin\cos\tan)并标注特定范围的例子
2019/12/04 Python
python实现飞行棋游戏
2020/02/05 Python
python中线程和进程有何区别
2020/06/17 Python
俄罗斯旅游网站:Tripadvisor俄罗斯
2017/03/21 全球购物
Expedia挪威官网:酒店、机票和租车
2018/03/03 全球购物
波兰化妆品和护肤品购物网站:eKobieca
2019/08/30 全球购物
私营公司诉讼代理委托书范本
2014/09/13 职场文书
中学教师读书笔记
2015/07/01 职场文书
教师教育教学随笔
2015/08/15 职场文书
防止web项目中的SQL注入
2021/12/06 MySQL
mysql查找连续出现n次以上的数字
2022/05/11 MySQL