Python中的defaultdict与__missing__()使用介绍


Posted in Python onFebruary 03, 2018

前言

今天我们的主角是 defaultdict ,同时也会介绍一下模仿方法 __missing__() ,本文主要来源于网友博客,分享给有需要的人。下面话不多说了,来一起看看详细的介绍吧。

默认值可以很方便

众所周知,在Python中如果访问字典中不存在的键,会引发KeyError异常。但是有时候,字典中的每个键都存在默认值是非常方便的。例如下面的例子:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 counts[kw] += 1

该例子统计strings中某个单词出现的次数,并在counts字典中作记录。单词每出现一次,在counts相对应的键所存的值数字加1。但是事实上,运行这段代码会抛出KeyError异常,出现的时机是每个单词第一次统计的时候,因为Python的dict中不存在默认值的说法,可以在Python命令行中验证:

>>> counts = dict()
>>> counts
{}
>>> counts['puppy'] += 1
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
KeyError: 'puppy'

使用判断语句检查

既然如此,首先可能想到的方法是在单词第一次统计的时候,在counts中相应的键存下默认值1。这需要在处理的时候添加一个判断语句:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 if kw not in counts:
  counts[kw] = 1
 else:
  counts[kw] += 1
# counts:
# {'puppy': 5, 'weasel': 1, 'kitten': 2}

使用 dict.setdefault() 方法

也可以通过 dict.setdefault() 方法来设置默认值:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 counts.setdefault(kw, 0)
 counts[kw] += 1

dict.setdefault() 方法接收两个参数,第一个参数是健的名称,第二个参数是默认值。假如字典中不存在给定的键,则返回参数中提供的默认值;反之,则返回字典中保存的值。利用 dict.setdefault() 方法的返回值可以重写for循环中的代码,使其更加简洁:

strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = {}
for kw in strings:
 counts[kw] = counts.setdefault(kw, 0) + 1

使用 collections.defaultdict 类

以上的方法虽然在一定程度上解决了dict中不存在默认值的问题,但是这时候我们会想,有没有一种字典它本身提供了默认值的功能呢?答案是肯定的,那就是 collections.defaultdict

defaultdict类就好像是一个dict,但是它是使用一个类型来初始化的:

>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> dd
defaultdict(<type 'list'>, {})

defaultdict类的初始化函数接受一个类型作为参数,当所访问的键不存在的时候,可以实例化一个值作为默认值:

>>> dd['foo']
[]
>>> dd
defaultdict(<type 'list'>, {'foo': []})
>>> dd['bar'].append('quux')
>>> dd
defaultdict(<type 'list'>, {'foo': [], 'bar': ['quux']})

需要注意的是,这种形式的默认值只有在通过 dict[key] 或者 dict.__getitem__(key) 访问的时候才有效,这其中的原因在下文会介绍。

>>> from collections import defaultdict
>>> dd = defaultdict(list)
>>> 'something' in dd
False
>>> dd.pop('something')
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
KeyError: 'pop(): dictionary is empty'
>>> dd.get('something')
>>> dd['something']
[]

defaultdict类除了接受类型名称作为初始化函数的参数之外,还可以使用任何不带参数的可调用函数,到时该函数的返回结果作为默认值,这样使得默认值的取值更加灵活。下面用一个例子来说明,如何用自定义的不带参数的函数 zero() 作为defaultdict类的初始化函数的参数:

>>> from collections import defaultdict
>>> def zero():
...  return 0
...
>>> dd = defaultdict(zero)
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {})
>>> dd['foo']
0
>>> dd
defaultdict(<function zero at 0xb7ed2684>, {'foo': 0})

利用 collections.defaultdict 来解决最初的单词统计问题,代码如下:

from collections import defaultdict
strings = ('puppy', 'kitten', 'puppy', 'puppy',
   'weasel', 'puppy', 'kitten', 'puppy')
counts = defaultdict(lambda: 0) # 使用lambda来定义简单的函数
for s in strings:
 counts[s] += 1

defaultdict类是如何实现的

通过上面的内容,想必大家已经了解了defaultdict类的用法,那么在defaultdict类中又是如何来实现默认值的功能呢?这其中的关键是使用了看 __missing__() 这个方法:

>>> from collections import defaultdict
>>> print defaultdict.__missing__.__doc__
__missing__(key) # Called by __getitem__ for missing key; pseudo-code:
 if self.default_factory is None: raise KeyError(key)
 self[key] = value = self.default_factory()
 return value

通过查看 __missing__() 方法的 docstring ,可以看出当使用 __getitem__() 方法访问一个不存在的键时 dict[key] 这种形式实际上是 __getitem__() 方法的简化形式),会调用 __missing__() 方法获取默认值,并将该键添加到字典中去。

关于 __missing__() 方法的具体介绍可以参考Python官方文档中的" Mapping Types — dict "一节。

文档中介绍,从2.5版本开始,如果派生自dict的子类定义了 __missing__() 方法,当访问不存在的键时,dict[key]会调用 __missing__() 方法取得默认值。

从中可以看出,虽然dict支持 __missing__() 方法,但是在dict本身是不存在这个方法的,而是需要在派生的子类中自行实现这个方法。可以简单的验证这一点:

>>> print dict.__missing__.__doc__
Traceback (most recent call last):
 File "<stdin>", line 1, in <module>
AttributeError: type object 'dict' has no attribute '__missing__'

同时,我们可以进一步的做实验,定义一个子类Missing并实现 __missing__() 方法:

>>> class Missing(dict):
...  def __missing__(self, key):
...   return 'missing'
...
>>> d = Missing()
>>> d
{}
>>> d['foo']
'missing'
>>> d
{}

返回结果反映了 __missing__() 方法确实发挥了作用。在此基础上,我们稍许修改 __missing__() 方法,使得该子类同defautldict类一样为不存在的键设置一个默认值:

>>> class Defaulting(dict):
...  def __missing__(self, key):
...   self[key] = 'default'
...   return 'default'
...
>>> d = Defaulting()
>>> d
{}
>>> d['foo']
'default'
>>> d
{'foo': 'default'}

在旧版本的Python中实现类defaultdict的功能

defaultdict类是从2.5版本之后才添加的,在一些旧版本中并不支持它,因此为旧版本实现一个兼容的defaultdict类是必要的。这其实很简单,虽然性能可能未必如2.5版本中自带的defautldict类好,但在功能上是一样的。

首先, __getitem__() 方法需要在访问键失败时,调用 __missing__() 方法:

class defaultdict(dict):
 def __getitem__(self, key):
  try:
   return dict.__getitem__(self, key)
  except KeyError:
   return self.__missing__(key)

其次,需要实现 __missing__() 方法用来设置默认值:

class defaultdict(dict):
 def __getitem__(self, key):
  try:
   return dict.__getitem__(self, key)
  except KeyError:
   return self.__missing__(key)
 def __missing__(self, key):
  self[key] = value = self.default_factory()
  return value

然后,defaultdict类的初始化函数 __init__() 需要接受类型或者可调用函数参数:

class defaultdict(dict):
 def __init__(self, default_factory=None, *a, **kw):
  dict.__init__(self, *a, **kw)
  self.default_factory = default_factory
 def __getitem__(self, key):
  try:
   return dict.__getitem__(self, key)
  except KeyError:
   return self.__missing__(key)
 def __missing__(self, key):
  self[key] = value = self.default_factory()
  return value

最后,综合以上内容,通过以下方式完成兼容新旧Python版本的代码:

try:
 from collections import defaultdict
except ImportError:
 class defaultdict(dict):
  def __init__(self, default_factory=None, *a, **kw):
   dict.__init__(self, *a, **kw)
   self.default_factory = default_factory
  def __getitem__(self, key):
   try:
    return dict.__getitem__(self, key)
   except KeyError:
    return self.__missing__(key)
  def __missing__(self, key):
   self[key] = value = self.default_factory()
   return value

参考文档

https://docs.python.org/2/library/collections.html#collections.defaultdict

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
使用XML库的方式,实现RPC通信的方法(推荐)
Jun 14 Python
详解Golang 与python中的字符串反转
Jul 21 Python
基于python socketserver框架全面解析
Sep 21 Python
Pandas标记删除重复记录的方法
Apr 08 Python
Python 如何提高元组的可读性
Aug 26 Python
postman传递当前时间戳实例详解
Sep 14 Python
如何运行带参数的python脚本
Nov 15 Python
使用python求解二次规划的问题
Feb 29 Python
python用opencv完成图像分割并进行目标物的提取
May 25 Python
python如何调用php文件中的函数详解
Dec 29 Python
python wsgiref源码解析
Feb 06 Python
如何在Python中妥善使用进度条详解
Apr 05 Python
Python网络爬虫神器PyQuery的基本使用教程
Feb 03 #Python
numpy.random.seed()的使用实例解析
Feb 03 #Python
Python网络爬虫中的同步与异步示例详解
Feb 03 #Python
Python模块文件结构代码详解
Feb 03 #Python
Python处理文本换行符实例代码
Feb 03 #Python
Python断言assert的用法代码解析
Feb 03 #Python
Python下载网络小说实例代码
Feb 03 #Python
You might like
雄兵连三大错觉:凯莎没了,凉冰阵亡了,华烨觉得自己又行了
2020/04/09 国漫
提取HTML标签
2006/10/09 PHP
php header()函数使用说明
2008/07/10 PHP
windows下PHP_intl.dll正确配置方法(apache2.2+php5.3.5)
2014/01/14 PHP
PHP启动windows应用程序、执行bat批处理、执行cmd命令的方法(exec、system函数详解)
2014/10/20 PHP
php表单敏感字符过滤类
2014/12/08 PHP
php中的常用魔术方法汇总
2016/02/14 PHP
什么是PHP7中的孤儿进程与僵尸进程
2019/04/14 PHP
Thinkphp 框架扩展之行为扩展原理与实现方法分析
2020/04/23 PHP
Struts2的s:radio标签使用及用jquery添加change事件
2013/04/08 Javascript
extjs4 treepanel动态改变行高度示例
2013/12/17 Javascript
深入剖析JavaScript:Object类型
2016/05/10 Javascript
jQuery控制li上下循环滚动插件用法实例(附demo源码下载)
2016/05/28 Javascript
微信小程序 实现tabs选项卡效果实例代码
2016/10/31 Javascript
Vue数据驱动模拟实现2
2017/01/11 Javascript
JS中from 表单序列化提交的代码
2017/01/20 Javascript
AngularJS双向数据绑定原理之$watch、$apply和$digest的应用
2018/01/30 Javascript
微信小程序登录换取token的教程
2018/05/31 Javascript
基于Vue-cli快速搭建项目的完整步骤
2018/11/03 Javascript
JS数组求和的常用方法总结【5种方法】
2019/01/14 Javascript
JS实现给数组对象排序的方法分析
2019/06/24 Javascript
在vue中使用vuex,修改state的值示例
2019/11/08 Javascript
python连接MySQL、MongoDB、Redis、memcache等数据库的方法
2013/11/15 Python
在Python的gevent框架下执行异步的Solr查询的教程
2015/04/16 Python
使用Python简单的实现树莓派的WEB控制
2016/02/18 Python
python中的json总结
2018/10/11 Python
Django实现文件上传和下载功能
2019/10/06 Python
python3中numpy函数tile的用法详解
2019/12/04 Python
Python 中由 yield 实现异步操作
2020/05/04 Python
使用python对excel表格处理的一些小功能
2021/01/25 Python
中专生自荐信
2014/06/25 职场文书
工厂员工辞职信范文
2015/05/12 职场文书
交通事故责任认定书
2015/08/06 职场文书
辞职申请书范本
2019/05/20 职场文书
pandas 操作 Excel操作总结
2021/03/31 Python
超详细Python解释器新手安装教程
2021/05/10 Python