Python中的defaultdict与__missing__()使用介绍


Posted in Python onFebruary 03, 2018

前言

今天我们的主角是 defaultdict ,同时也会介绍一下模仿方法 __missing__() ,本文主要来源于网友博客,分享给有需要的人。下面话不多说了,来一起看看详细的介绍吧。

默认值可以很方便

众所周知,在Python中如果访问字典中不存在的键,会引发KeyError异常。但是有时候,字典中的每个键都存在默认值是非常方便的。例如下面的例子:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 counts[kw] += 1

该例子统计strings中某个单词出现的次数,并在counts字典中作记录。单词每出现一次,在counts相对应的键所存的值数字加1。但是事实上,运行这段代码会抛出KeyError异常,出现的时机是每个单词第一次统计的时候,因为Python的dict中不存在默认值的说法,可以在Python命令行中验证:

>>> counts = dict()
>>> counts
{}
>>> counts['puppy'] += 1
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
KeyError: 'puppy'

使用判断语句检查

既然如此,首先可能想到的方法是在单词第一次统计的时候,在counts中相应的键存下默认值1。这需要在处理的时候添加一个判断语句:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 if kw not in counts:
  counts[kw] = 1
 else:
  counts[kw] += 1
# counts:
# {'puppy': 5, 'weasel': 1, 'kitten': 2}

使用 dict.setdefault() 方法

也可以通过 dict.setdefault() 方法来设置默认值:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 counts.setdefault(kw, 0)
 counts[kw] += 1

dict.setdefault() 方法接收两个参数,第一个参数是健的名称,第二个参数是默认值。假如字典中不存在给定的键,则返回参数中提供的默认值;反之,则返回字典中保存的值。利用 dict.setdefault() 方法的返回值可以重写for循环中的代码,使其更加简洁:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 counts[kw] = counts.setdefault(kw, 0) + 1

使用 collections.defaultdict 类

以上的方法虽然在一定程度上解决了dict中不存在默认值的问题,但是这时候我们会想,有没有一种字典它本身提供了默认值的功能呢?答案是肯定的,那就是 collections.defaultdict

defaultdict类就好像是一个dict,但是它是使用一个类型来初始化的:

>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> dd
defaultdict(<type 'list'>, {})

defaultdict类的初始化函数接受一个类型作为参数,当所访问的键不存在的时候,可以实例化一个值作为默认值:

>>> dd['foo']
[]
>>> dd
defaultdict(<type 'list'>, {'foo': []})
>>> dd['bar'].append('quux')
>>> dd
defaultdict(<type 'list'>, {'foo': [], 'bar': ['quux']})

需要注意的是,这种形式的默认值只有在通过 dict[key] 或者 dict.__getitem__(key) 访问的时候才有效,这其中的原因在下文会介绍。

>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> 'something' in dd
False
>>> dd.pop('something')
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
KeyError: 'pop(): dictionary is empty'
>>> dd.get('something')
>>> dd['something']
[]

defaultdict类除了接受类型名称作为初始化函数的参数之外,还可以使用任何不带参数的可调用函数,到时该函数的返回结果作为默认值,这样使得默认值的取值更加灵活。下面用一个例子来说明,如何用自定义的不带参数的函数 zero() 作为defaultdict类的初始化函数的参数:

>>> from collections import defaultdict
>>> def zero():
...  return 0
...
>>> dd = defaultdict(zero)
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {})
>>> dd['foo']
0
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {'foo': 0})

利用 collections.defaultdict 来解决最初的单词统计问题,代码如下:

from collections import defaultdict
strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = defaultdict(lambda: 0) # 使用lambda来定义简单的函数
for s in strings:
 counts[s] += 1

defaultdict类是如何实现的

通过上面的内容,想必大家已经了解了defaultdict类的用法,那么在defaultdict类中又是如何来实现默认值的功能呢?这其中的关键是使用了看 __missing__() 这个方法:

>>> from collections import defaultdict
>>> print defaultdict.__missing__.__doc__
__missing__(key) # Called by __getitem__ for missing key; pseudo-code:
 if self.default_factory is None: raise KeyError(key)
 self[key] = value = self.default_factory()
 return value

通过查看 __missing__() 方法的 docstring ,可以看出当使用 __getitem__() 方法访问一个不存在的键时 dict[key] 这种形式实际上是 __getitem__() 方法的简化形式),会调用 __missing__() 方法获取默认值,并将该键添加到字典中去。

关于 __missing__() 方法的具体介绍可以参考Python官方文档中的" Mapping Types — dict "一节。

文档中介绍,从2.5版本开始,如果派生自dict的子类定义了 __missing__() 方法,当访问不存在的键时,dict[key]会调用 __missing__() 方法取得默认值。

从中可以看出,虽然dict支持 __missing__() 方法,但是在dict本身是不存在这个方法的,而是需要在派生的子类中自行实现这个方法。可以简单的验证这一点:

>>> print dict.__missing__.__doc__
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
AttributeError: type object 'dict' has no attribute '__missing__'

同时,我们可以进一步的做实验,定义一个子类Missing并实现 __missing__() 方法:

>>> class Missing(dict):
...  def __missing__(self, key):
...   return 'missing'
...
>>> d = Missing()
>>> d
{}
>>> d['foo']
'missing'
>>> d
{}

返回结果反映了 __missing__() 方法确实发挥了作用。在此基础上,我们稍许修改 __missing__() 方法,使得该子类同defautldict类一样为不存在的键设置一个默认值:

>>> class Defaulting(dict):
...  def __missing__(self, key):
...   self[key] = 'default'
...   return 'default'
...
>>> d = Defaulting()
>>> d
{}
>>> d['foo']
'default'
>>> d
{'foo': 'default'}

在旧版本的Python中实现类defaultdict的功能

defaultdict类是从2.5版本之后才添加的,在一些旧版本中并不支持它,因此为旧版本实现一个兼容的defaultdict类是必要的。这其实很简单,虽然性能可能未必如2.5版本中自带的defautldict类好,但在功能上是一样的。

首先, __getitem__() 方法需要在访问键失败时,调用 __missing__() 方法:

class defaultdict(dict):
 def __getitem__(self, key):
  try:
   return dict.__getitem__(self, key)
  except KeyError:
   return self.__missing__(key)

其次,需要实现 __missing__() 方法用来设置默认值:

class defaultdict(dict):
 def __getitem__(self, key):
  try:
   return dict.__getitem__(self, key)
  except KeyError:
   return self.__missing__(key)
 def __missing__(self, key):
  self[key] = value = self.default_factory()
  return value

然后,defaultdict类的初始化函数 __init__() 需要接受类型或者可调用函数参数:

class defaultdict(dict):
 def __init__(self, default_factory=None, *a, **kw):
  dict.__init__(self, *a, **kw)
  self.default_factory = default_factory
 def __getitem__(self, key):
  try:
   return dict.__getitem__(self, key)
  except KeyError:
   return self.__missing__(key)
 def __missing__(self, key):
  self[key] = value = self.default_factory()
  return value

最后,综合以上内容,通过以下方式完成兼容新旧Python版本的代码:

try:
 from collections import defaultdict
except ImportError:
 class defaultdict(dict):
  def __init__(self, default_factory=None, *a, **kw):
   dict.__init__(self, *a, **kw)
   self.default_factory = default_factory
  def __getitem__(self, key):
   try:
    return dict.__getitem__(self, key)
   except KeyError:
    return self.__missing__(key)
  def __missing__(self, key):
   self[key] = value = self.default_factory()
   return value

参考文档

https://docs.python.org/2/library/collections.html#collections.defaultdict

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
Python脚本实现DNSPod DNS动态解析域名
Feb 14 Python
在Python程序中操作文件之flush()方法的使用教程
May 24 Python
Python抓取百度查询结果的方法
Jul 08 Python
基于python yield机制的异步操作同步化编程模型
Mar 18 Python
使用Python将数组的元素导出到变量中(unpacking)
Oct 27 Python
使用python编写udp协议的ping程序方法
Apr 22 Python
Python面向对象之类的内置attr属性示例
Dec 14 Python
简单易懂Pytorch实战实例VGG深度网络
Aug 27 Python
python 爬虫百度地图的信息界面的实现方法
Oct 27 Python
Python语言异常处理测试过程解析
Jan 08 Python
python 求两个向量的顺时针夹角操作
Mar 04 Python
使用Pytorch训练two-head网络的操作
May 28 Python
Python网络爬虫神器PyQuery的基本使用教程
Feb 03 #Python
numpy.random.seed()的使用实例解析
Feb 03 #Python
Python网络爬虫中的同步与异步示例详解
Feb 03 #Python
Python模块文件结构代码详解
Feb 03 #Python
Python处理文本换行符实例代码
Feb 03 #Python
Python断言assert的用法代码解析
Feb 03 #Python
Python下载网络小说实例代码
Feb 03 #Python
You might like
PHP通过COM使用ADODB的简单例子
2006/12/31 PHP
处理php自动反斜杠的函数代码
2010/01/05 PHP
thinkPHP中create方法与令牌验证实例浅析
2015/12/08 PHP
Yii2框架引用bootstrap中日期插件yii2-date-picker的方法
2016/01/09 PHP
使用ltrace工具跟踪PHP库函数调用的方法
2016/04/25 PHP
js日历功能对象
2012/01/12 Javascript
JS时间选择器 兼容IE6,7,8,9
2012/06/26 Javascript
jQuery制作仿腾讯web qq用户体验桌面
2013/08/20 Javascript
Javascript字符串浏览器兼容问题分析
2014/12/01 Javascript
Jquery网页内滑动缓冲导航的实现代码
2015/04/05 Javascript
JavaScript中实现map功能代码分享
2015/06/11 Javascript
JSON遍历方式实例总结
2015/12/07 Javascript
jQuery UI结合Ajax创建可定制的Web界面
2016/06/22 Javascript
Vue.js每天必学之计算属性computed与$watch
2016/09/05 Javascript
Javascript基于jQuery UI实现选中区域拖拽效果
2016/11/25 Javascript
JS实现DIV高度自适应窗口示例
2017/02/16 Javascript
基于vue实现多引擎搜索及关键字提示
2017/03/16 Javascript
vue.js全局API之nextTick全面解析
2017/07/07 Javascript
实例教学如何写vue插件
2017/11/30 Javascript
vue指令做滚动加载和监听等
2019/05/26 Javascript
JavaScript中callee和caller的区别与用法实例分析
2019/06/28 Javascript
利用JS代码自动删除稿件的普通弹幕功能
2019/09/20 Javascript
[46:21]Liquid vs LGD 2018国际邀请赛淘汰赛BO3 第一场 8.23
2018/08/24 DOTA
[46:42]DOTA2-DPC中国联赛正赛 Aster vs Magma BO3 第二场 3月5日
2021/03/11 DOTA
python从网络读取图片并直接进行处理的方法
2015/05/22 Python
Python 装饰器深入理解
2017/03/16 Python
django最快程序开发流程详解
2019/07/19 Python
python各类经纬度转换的实例代码
2019/08/08 Python
Python语言异常处理测试过程解析
2020/01/08 Python
利用CSS的Sass预处理器(框架)来制作居中效果
2016/03/10 HTML / CSS
解决html5中的video标签ios系统中无法播放使用的问题
2020/08/10 HTML / CSS
linux面试题参考答案(6)
2016/06/23 面试题
物流业务员岗位职责
2014/02/08 职场文书
卫校毕业生个人自我鉴定
2014/04/28 职场文书
党员创先争优活动总结
2014/05/04 职场文书
党员自我对照检查材料
2014/08/19 职场文书