深入解析Python中的descriptor描述器的作用及用法


Posted in Python onJune 27, 2016

一般来说,一个描述器是一个有“绑定行为”的对象属性(object attribute),它的访问控制被描述器协议方法重写。这些方法是 __get__(), __set__(), 和 __delete__() 。有这些方法的对象叫做描述器。

默认对属性的访问控制是从对象的字典里面(__dict__)中获取(get), 设置(set)和删除(delete)它。举例来说, a.x 的查找顺序是, a.__dict__['x'] , 然后 type(a).__dict__['x'] , 然后找 type(a) 的父类(不包括元类(metaclass)).如果查找到的值是一个描述器, Python就会调用描述器的方法来重写默认的控制行为。这个重写发生在这个查找环节的哪里取决于定义了哪个描述器方法。注意, 只有在新式类中时描述器才会起作用。(新式类是继承自 type 或者 object 的类)

描述器是强大的,应用广泛的。描述器正是属性, 实例方法, 静态方法, 类方法和 super 的背后的实现机制。描述器在Python自身中广泛使用,以实现Python 2.2中引入的新式类。描述器简化了底层的C代码,并为Python的日常编程提供了一套灵活的新工具。

描述器协议

descr.__get__(self, obj, type=None) --> value
descr.__get__(self, obj, value) --> None
descr.__delete__(self, obj) --> None

一个对象如果是一个描述器,被当做对象属性(很重要)时重写默认的查找行为。

如果一个对象同时定义了__get__和__set__,它叫data descriptor。仅定义了__get__的描述器叫non-data descriptor。

data descriptor和non-data descriptor区别在于: 相对于实例的字典的优先级,如果实例字典有与描述器具同名的属性,如果描述器是data descriptor,优先使用data descriptor。如果是non-data descriptor,优先使用字典中的属性。

class B(object):

  def __init__(self):
    self.name = 'mink'

  def __get__(self, obj, objtype=None):
    return self.name

class A(object):
  name = B()

a = A()
print a.__dict__  # print {}
print a.name    # print mink
a.name = 'kk'    
print a.__dict__  # print {'name': 'kk'}
print a.name    # print kk

这里B是一个non-data descriptor所以当a.name = 'kk'的时候,a.__dict__里会有name属性, 接下来给它设置__set__

def __set__(self, obj, value):
  self.name = value

 ... do something

a = A()
print a.__dict__  # print {}
print a.name    # print mink
a.name = 'kk'    
print a.__dict__  # print {}
print a.name    # print kk

因为data descriptor访问属性优先级比实例的字典高,所以a.__dict__是空的。

描述器的调用
描述器可以直接这么调用: d.__get__(obj)

然而更常见的情况是描述器在属性访问时被自动调用。举例来说, obj.d 会在 obj 的字典中找 d ,如果 d 定义了 __get__ 方法,那么 d.__get__(obj) 会依据下面的优先规则被调用。

调用的细节取决于 obj 是一个类还是一个实例。另外,描述器只对于新式对象和新式类才起作用。继承于 object 的类叫做新式类。

对于对象来讲,方法 object.__getattribute__() 把 b.x 变成 type(b).__dict__['x'].__get__(b, type(b)) 。具体实现是依据这样的优先顺序:资料描述器优先于实例变量,实例变量优先于非资料描述器,__getattr__()方法(如果对象中包含的话)具有最低的优先级。完整的C语言实现可以在 Objects/object.c 中 PyObject_GenericGetAttr() 查看。

对于类来讲,方法 type.__getattribute__() 把 B.x 变成 B.__dict__['x'].__get__(None, B) 。用Python来描述就是:

def __getattribute__(self, key):
  "Emulate type_getattro() in Objects/typeobject.c"
  v = object.__getattribute__(self, key)
  if hasattr(v, '__get__'):
    return v.__get__(None, self)
  return v

其中重要的几点:

  • 描述器的调用是因为 __getattribute__()
  • 重写 __getattribute__() 方法会阻止正常的描述器调用
  • __getattribute__() 只对新式类的实例可用
  • object.__getattribute__() 和 type.__getattribute__() 对 __get__() 的调用不一样
  • 资料描述器总是比实例字典优先。
  • 非资料描述器可能被实例字典重写。(非资料描述器不如实例字典优先)
  • super() 返回的对象同样有一个定制的 __getattribute__() 方法用来调用描述器。调用 super(B, obj).m() 时会先在 obj.__class__.__mro__ 中查找与B紧邻的基类A,然后返回 A.__dict__['m'].__get__(obj, A) 。如果不是描述器,原样返回 m 。如果实例字典中找不到 m ,会回溯继续调用 object.__getattribute__() 查找。(译者注:即在 __mro__ 中的下一个基类中查找)

注意:在Python 2.2中,如果 m 是一个描述器, super(B, obj).m() 只会调用方法 __get__() 。在Python 2.3中,非资料描述器(除非是个旧式类)也会被调用。 super_getattro() 的实现细节在: Objects/typeobject.c ,[del] 一个等价的Python实现在 Guido's Tutorial [/del] (译者注:原文此句已删除,保留供大家参考)。

以上展示了描述器的机理是在 object, type, 和 super 的 __getattribute__() 方法中实现的。由 object 派生出的类自动的继承这个机理,或者它们有个有类似机理的元类。同样,可以重写类的 __getattribute__() 方法来关闭这个类的描述器行为。

描述器例子
下面的代码中定义了一个资料描述器,每次 get 和 set 都会打印一条消息。重写 __getattribute__() 是另一个可以使所有属性拥有这个行为的方法。但是,描述器在监视特定属性的时候是很有用的。

class RevealAccess(object):
  """A data descriptor that sets and returns values
    normally and prints a message logging their access.
  """

  def __init__(self, initval=None, name='var'):
    self.val = initval
    self.name = name

  def __get__(self, obj, objtype):
    print 'Retrieving', self.name
    return self.val

  def __set__(self, obj, val):
    print 'Updating' , self.name
    self.val = val

>>> class MyClass(object):
  x = RevealAccess(10, 'var "x"')
  y = 5

>>> m = MyClass()
>>> m.x
Retrieving var "x"
10
>>> m.x = 20
Updating var "x"
>>> m.x
Retrieving var "x"
20
>>> m.y
5

这个协议非常简单,并且提供了令人激动的可能。一些用途实在是太普遍以致于它们被打包成独立的函数。像属性(property), 方法(bound和unbound method), 静态方法和类方法都是基于描述器协议的。

Python 相关文章推荐
Python异常处理总结
Aug 15 Python
python模块之StringIO使用示例
Apr 08 Python
Python标准库defaultdict模块使用示例
Apr 28 Python
Python实现的简单hangman游戏实例
Jun 28 Python
python实现批量按比例缩放图片效果
Mar 30 Python
pandas DataFrame数据转为list的方法
Apr 11 Python
浅谈dataframe中更改列属性的方法
Jul 10 Python
Python查找数组中数值和下标相等的元素示例【二分查找】
Feb 13 Python
关于python导入模块import与常见的模块详解
Aug 28 Python
Pytorch 实现权重初始化
Dec 31 Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 Python
Python使用openpyxl复制整张sheet
Mar 24 Python
Python中的字符串查找操作方法总结
Jun 27 #Python
解析Python中的__getitem__专有方法
Jun 27 #Python
详解Python中的__getitem__方法与slice对象的切片操作
Jun 27 #Python
Python使用smtplib模块发送电子邮件的流程详解
Jun 27 #Python
Python教程之全局变量用法
Jun 27 #Python
python设计模式大全
Jun 27 #Python
Python处理JSON时的值报错及编码报错的两则解决实录
Jun 26 #Python
You might like
一个程序下载的管理程序(四)
2006/10/09 PHP
php中用文本文件做数据库的实现方法
2008/03/27 PHP
php导出CSV抽象类实例
2014/09/24 PHP
php文件夹的创建与删除方法
2015/01/24 PHP
apache和PHP如何整合在一起
2015/10/12 PHP
PHP实现QQ空间自动回复说说的方法
2015/12/02 PHP
Yii2中使用asset压缩js,css文件的方法
2016/11/24 PHP
php 删除指定文件夹的实例讲解
2017/07/25 PHP
php+croppic.js实现剪切上传图片功能
2018/08/14 PHP
PHP操作路由器实现方法示例
2019/04/27 PHP
Javascript 实现TreeView CheckBox全选效果
2010/01/11 Javascript
JavaScript 构造函数 面相对象学习必备知识
2010/06/09 Javascript
jQuery快速上手:写jQuery与直接写JS的区别详细解析
2013/08/26 Javascript
js判断运行jsp页面的浏览器类型以及版本示例
2013/10/30 Javascript
js实现鼠标划过给div加透明度的方法
2015/05/25 Javascript
js实现接收表单的值并将值拼在表单action后面的方法
2015/11/23 Javascript
Javascript中神奇的this
2016/01/20 Javascript
JavaScript的ExtJS框架中表格的编写教程
2016/05/21 Javascript
Bootstrap CSS布局之表单
2016/12/17 Javascript
微信小程序 Tab页切换更新数据
2017/01/05 Javascript
微信小程序实现皮肤功能(夜间模式)
2017/06/18 Javascript
详解webpack中的hash、chunkhash、contenthash区别
2018/01/05 Javascript
基于iScroll实现内容滚动效果
2018/03/21 Javascript
解决angular2在双向数据绑定时[(ngModel)]无法使用的问题
2018/09/13 Javascript
vue-cli 3.x 修改dist路径的方法
2018/09/19 Javascript
JavaScript如何获取一个元素的样式信息
2019/07/29 Javascript
JS 数组和对象的深拷贝操作示例
2020/06/06 Javascript
[51:26]VP vs VG 2018国际邀请赛小组赛BO2 第二场 8.19
2018/08/21 DOTA
flask中主动抛出异常及统一异常处理代码示例
2018/01/18 Python
使用python对excle和json互相转换的示例
2018/10/23 Python
Python玩转PDF的各种骚操作
2019/05/06 Python
Python实现点云投影到平面显示
2020/01/18 Python
使用python实现学生信息管理系统
2021/02/25 Python
财务负责人任命书
2014/06/06 职场文书
网络研修心得体会
2016/01/08 职场文书
蔬果开业典礼发言稿应该怎么写?
2019/09/03 职场文书