Python实现优先级队列结构的方法详解


Posted in Python onJune 02, 2016

最简单的实现
一个队列至少满足2个方法,put和get.
借助最小堆来实现.
这里按"值越大优先级越高"的顺序.

#coding=utf-8 
from heapq import heappush, heappop 
class PriorityQueue: 
  def __init__(self): 
    self._queue = [] 
 
  def put(self, item, priority): 
    heappush(self._queue, (-priority, item)) 
 
  def get(self): 
    return heappop(self._queue)[-1] 
 
q = PriorityQueue() 
q.put('world', 1) 
q.put('hello', 2) 
print q.get() 
print q.get()

 使用heapq模块来实现
下面的类利用 heapq 模块实现了一个简单的优先级队列:

import heapq

class PriorityQueue:
  def __init__(self):
    self._queue = []
    self._index = 0

  def push(self, item, priority):
    heapq.heappush(self._queue, (-priority, self._index, item))
    self._index += 1

  def pop(self):
    return heapq.heappop(self._queue)[-1]

下面是它的使用方式:

>>> class Item:
...   def __init__(self, name):
...     self.name = name
...   def __repr__(self):
...     return 'Item({!r})'.format(self.name)
...
>>> q = PriorityQueue()
>>> q.push(Item('foo'), 1)
>>> q.push(Item('bar'), 5)
>>> q.push(Item('spam'), 4)
>>> q.push(Item('grok'), 1)
>>> q.pop()
Item('bar')
>>> q.pop()
Item('spam')
>>> q.pop()
Item('foo')
>>> q.pop()
Item('grok')
>>>

仔细观察可以发现,第一个 pop() 操作返回优先级最高的元素。 另外注意到如果两个有着相同优先级的元素( foo 和 grok ),pop操作按照它们被插入到队列的顺序返回的。

 函数 heapq.heappush() 和 heapq.heappop() 分别在队列 _queue 上插入和删除第一个元素, 并且队列_queue保证第一个元素拥有最小优先级(1.4节已经讨论过这个问题)。 heappop() 函数总是返回”最小的”的元素,这就是保证队列pop操作返回正确元素的关键。 另外,由于push和pop操作时间复杂度为O(log N),其中N是堆的大小,因此就算是N很大的时候它们运行速度也依旧很快。

在上面代码中,队列包含了一个 (-priority, index, item) 的元组。 优先级为负数的目的是使得元素按照优先级从高到低排序。 这个跟普通的按优先级从低到高排序的堆排序恰巧相反。

index 变量的作用是保证同等优先级元素的正确排序。 通过保存一个不断增加的 index 下标变量,可以确保元素按照它们插入的顺序排序。 而且, index 变量也在相同优先级元素比较的时候起到重要作用。

为了阐明这些,先假定Item实例是不支持排序的:

>>> a = Item('foo')
>>> b = Item('bar')
>>> a < b
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

如果你使用元组 (priority, item) ,只要两个元素的优先级不同就能比较。 但是如果两个元素优先级一样的话,那么比较操作就会跟之前一样出错:

>>> a = (1, Item('foo'))
>>> b = (5, Item('bar'))
>>> a < b
True
>>> c = (1, Item('grok'))
>>> a < c
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

通过引入另外的 index 变量组成三元组 (priority, index, item) ,就能很好的避免上面的错误, 因为不可能有两个元素有相同的 index 值。Python在做元组比较时候,如果前面的比较以及可以确定结果了, 后面的比较操作就不会发生了:

>>> a = (1, 0, Item('foo'))
>>> b = (5, 1, Item('bar'))
>>> c = (1, 2, Item('grok'))
>>> a < b
True
>>> a < c
True
>>>

如果你想在多个线程中使用同一个队列,那么你需要增加适当的锁和信号量机制。 可以查看12.3小节的例子演示是怎样做的。

深入思考
函数 heapq.heappush() 和 heapq.heappop() 分别在队列 _queue 上插入和删除第一个元素, 并且队列_queue保证第一个元素拥有最小优先级(1.4节已经讨论过这个问题)。 heappop() 函数总是返回”最小的”的元素,这就是保证队列pop操作返回正确元素的关键。 另外,由于push和pop操作时间复杂度为O(log N),其中N是堆的大小,因此就算是N很大的时候它们运行速度也依旧很快。

在上面代码中,队列包含了一个 (-priority, index, item) 的元组。 优先级为负数的目的是使得元素按照优先级从高到低排序。 这个跟普通的按优先级从低到高排序的堆排序恰巧相反。

index 变量的作用是保证同等优先级元素的正确排序。 通过保存一个不断增加的 index 下标变量,可以确保元素按照它们插入的顺序排序。 而且, index 变量也在相同优先级元素比较的时候起到重要作用。

为了阐明这些,先假定Item实例是不支持排序的:

>>> a = Item('foo')
>>> b = Item('bar')
>>> a < b
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

如果你使用元组 (priority, item) ,只要两个元素的优先级不同就能比较。 但是如果两个元素优先级一样的话,那么比较操作就会跟之前一样出错:

>>> a = (1, Item('foo'))
>>> b = (5, Item('bar'))
>>> a < b
True
>>> c = (1, Item('grok'))
>>> a < c
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
TypeError: unorderable types: Item() < Item()
>>>

通过引入另外的 index 变量组成三元组 (priority, index, item) ,就能很好的避免上面的错误, 因为不可能有两个元素有相同的 index 值。Python在做元组比较时候,如果前面的比较以及可以确定结果了, 后面的比较操作就不会发生了:

>>> a = (1, 0, Item('foo'))
>>> b = (5, 1, Item('bar'))
>>> c = (1, 2, Item('grok'))
>>> a < b
True
>>> a < c
True
>>>

如果你想在多个线程中使用同一个队列,那么你需要增加适当的锁和信号量机制。 可以查看12.3小节的例子演示是怎样做的。

heapq 模块的官方文档有更详细的例子程序以及对于堆理论及其实现的详细说明。

Python 相关文章推荐
python中urlparse模块介绍与使用示例
Nov 19 Python
Django实现全文检索的方法(支持中文)
May 14 Python
Python用for循环实现九九乘法表
May 31 Python
Python 实现「食行生鲜」签到领积分功能
Sep 26 Python
python判断完全平方数的方法
Nov 13 Python
详解Python3中setuptools、Pip安装教程
Jun 18 Python
详解DeBug Python神级工具PySnooper
Jul 03 Python
Python Threading 线程/互斥锁/死锁/GIL锁
Jul 21 Python
Python 二叉树的层序建立与三种遍历实现详解
Jul 29 Python
python 解决flask uwsgi 获取不到全局变量的问题
Dec 22 Python
解决Tensorboard 不显示计算图graph的问题
Feb 15 Python
Python如何对齐字符串
Jul 30 Python
KMP算法精解及其Python版的代码示例
Jun 01 #Python
Python缩进和冒号详解
Jun 01 #Python
Python注释详解
Jun 01 #Python
深入理解python try异常处理机制
Jun 01 #Python
python学习 流程控制语句详解
Jun 01 #Python
python+Django+apache的配置方法详解
Jun 01 #Python
python中函数默认值使用注意点详解
Jun 01 #Python
You might like
建立动态的WML站点(一)
2006/10/09 PHP
在PHP中养成7个面向对象的好习惯
2010/07/17 PHP
windows环境下php配置memcache的具体操作步骤
2013/06/09 PHP
ioncube_loader_win_5.2.dll的错误解决方法
2015/01/04 PHP
php+xml结合Ajax实现点赞功能完整实例
2015/01/30 PHP
php 删除一维数组中某一个值元素的操作方法
2018/02/01 PHP
laravel框架模型中非静态方法也能静态调用的原理分析
2019/11/23 PHP
Laravel 修改验证异常的响应格式实例代码详解
2020/05/25 PHP
PHP 实现链式操作
2021/03/09 PHP
体验js中splice()的强大(插入、删除或替换数组的元素)
2013/01/16 Javascript
使用jQuery同时控制四张图片的伸缩实现代码
2013/04/19 Javascript
JavaScript实现带播放列表的音乐播放器实例分享
2016/03/07 Javascript
jQuery插件实现弹性运动完整示例
2018/07/07 jQuery
在vue项目中集成graphql(vue-ApolloClient)
2018/09/08 Javascript
在vue项目中引用Iview的方法
2018/09/14 Javascript
微信小程序封装分享与分销功能过程解析
2019/08/13 Javascript
Vue+iview+webpack ie浏览器兼容简单处理
2019/09/20 Javascript
vue-amap根据地址回显地图并mark的操作
2020/11/03 Javascript
原生js实现表格循环滚动
2020/11/24 Javascript
Python中的字典遍历备忘
2015/01/17 Python
详解Python中的元组与逻辑运算符
2015/10/13 Python
python实现石头剪刀布程序
2021/01/20 Python
Python使用Paramiko控制liunx第三方库
2020/05/20 Python
中国电视购物:快乐购
2017/02/04 全球购物
eVitamins日本:在线购买折扣维生素、补品和草药
2019/04/04 全球购物
手工制作的豪华英式沙发和沙发床:Willow & Hall
2019/05/03 全球购物
晚宴邀请函范文
2014/01/15 职场文书
企业文化演讲稿
2014/05/20 职场文书
国际贸易毕业生自荐书
2014/06/22 职场文书
信用卡工资证明格式
2014/09/13 职场文书
三方协议书
2015/01/27 职场文书
2015年体检中心工作总结
2015/05/27 职场文书
运动会通讯稿100字
2015/07/20 职场文书
公务员的复习计划书,请收下!
2019/07/15 职场文书
Python生成九宫格图片的示例代码
2021/04/14 Python
python 实现两个变量值进行交换的n种操作
2021/06/02 Python