深入解析Python中的descriptor描述器的作用及用法


Posted in Python onJune 27, 2016

一般来说,一个描述器是一个有“绑定行为”的对象属性(object attribute),它的访问控制被描述器协议方法重写。这些方法是 __get__(), __set__(), 和 __delete__() 。有这些方法的对象叫做描述器。

默认对属性的访问控制是从对象的字典里面(__dict__)中获取(get), 设置(set)和删除(delete)它。举例来说, a.x 的查找顺序是, a.__dict__['x'] , 然后 type(a).__dict__['x'] , 然后找 type(a) 的父类(不包括元类(metaclass)).如果查找到的值是一个描述器, Python就会调用描述器的方法来重写默认的控制行为。这个重写发生在这个查找环节的哪里取决于定义了哪个描述器方法。注意, 只有在新式类中时描述器才会起作用。(新式类是继承自 type 或者 object 的类)

描述器是强大的,应用广泛的。描述器正是属性, 实例方法, 静态方法, 类方法和 super 的背后的实现机制。描述器在Python自身中广泛使用,以实现Python 2.2中引入的新式类。描述器简化了底层的C代码,并为Python的日常编程提供了一套灵活的新工具。

描述器协议

descr.__get__(self, obj, type=None) --> value
descr.__get__(self, obj, value) --> None
descr.__delete__(self, obj) --> None

一个对象如果是一个描述器,被当做对象属性(很重要)时重写默认的查找行为。

如果一个对象同时定义了__get__和__set__,它叫data descriptor。仅定义了__get__的描述器叫non-data descriptor。

data descriptor和non-data descriptor区别在于: 相对于实例的字典的优先级,如果实例字典有与描述器具同名的属性,如果描述器是data descriptor,优先使用data descriptor。如果是non-data descriptor,优先使用字典中的属性。

class B(object):

  def __init__(self):
    self.name = 'mink'

  def __get__(self, obj, objtype=None):
    return self.name

class A(object):
  name = B()

a = A()
print a.__dict__  # print {}
print a.name    # print mink
a.name = 'kk'    
print a.__dict__  # print {'name': 'kk'}
print a.name    # print kk

这里B是一个non-data descriptor所以当a.name = 'kk'的时候,a.__dict__里会有name属性, 接下来给它设置__set__

def __set__(self, obj, value):
  self.name = value

 ... do something

a = A()
print a.__dict__  # print {}
print a.name    # print mink
a.name = 'kk'    
print a.__dict__  # print {}
print a.name    # print kk

因为data descriptor访问属性优先级比实例的字典高,所以a.__dict__是空的。

描述器的调用
描述器可以直接这么调用: d.__get__(obj)

然而更常见的情况是描述器在属性访问时被自动调用。举例来说, obj.d 会在 obj 的字典中找 d ,如果 d 定义了 __get__ 方法,那么 d.__get__(obj) 会依据下面的优先规则被调用。

调用的细节取决于 obj 是一个类还是一个实例。另外,描述器只对于新式对象和新式类才起作用。继承于 object 的类叫做新式类。

对于对象来讲,方法 object.__getattribute__() 把 b.x 变成 type(b).__dict__['x'].__get__(b, type(b)) 。具体实现是依据这样的优先顺序:资料描述器优先于实例变量,实例变量优先于非资料描述器,__getattr__()方法(如果对象中包含的话)具有最低的优先级。完整的C语言实现可以在 Objects/object.c 中 PyObject_GenericGetAttr() 查看。

对于类来讲,方法 type.__getattribute__() 把 B.x 变成 B.__dict__['x'].__get__(None, B) 。用Python来描述就是:

def __getattribute__(self, key):
  "Emulate type_getattro() in Objects/typeobject.c"
  v = object.__getattribute__(self, key)
  if hasattr(v, '__get__'):
    return v.__get__(None, self)
  return v

其中重要的几点:

  • 描述器的调用是因为 __getattribute__()
  • 重写 __getattribute__() 方法会阻止正常的描述器调用
  • __getattribute__() 只对新式类的实例可用
  • object.__getattribute__() 和 type.__getattribute__() 对 __get__() 的调用不一样
  • 资料描述器总是比实例字典优先。
  • 非资料描述器可能被实例字典重写。(非资料描述器不如实例字典优先)
  • super() 返回的对象同样有一个定制的 __getattribute__() 方法用来调用描述器。调用 super(B, obj).m() 时会先在 obj.__class__.__mro__ 中查找与B紧邻的基类A,然后返回 A.__dict__['m'].__get__(obj, A) 。如果不是描述器,原样返回 m 。如果实例字典中找不到 m ,会回溯继续调用 object.__getattribute__() 查找。(译者注:即在 __mro__ 中的下一个基类中查找)

注意:在Python 2.2中,如果 m 是一个描述器, super(B, obj).m() 只会调用方法 __get__() 。在Python 2.3中,非资料描述器(除非是个旧式类)也会被调用。 super_getattro() 的实现细节在: Objects/typeobject.c ,[del] 一个等价的Python实现在 Guido's Tutorial [/del] (译者注:原文此句已删除,保留供大家参考)。

以上展示了描述器的机理是在 object, type, 和 super 的 __getattribute__() 方法中实现的。由 object 派生出的类自动的继承这个机理,或者它们有个有类似机理的元类。同样,可以重写类的 __getattribute__() 方法来关闭这个类的描述器行为。

描述器例子
下面的代码中定义了一个资料描述器,每次 get 和 set 都会打印一条消息。重写 __getattribute__() 是另一个可以使所有属性拥有这个行为的方法。但是,描述器在监视特定属性的时候是很有用的。

class RevealAccess(object):
  """A data descriptor that sets and returns values
    normally and prints a message logging their access.
  """

  def __init__(self, initval=None, name='var'):
    self.val = initval
    self.name = name

  def __get__(self, obj, objtype):
    print 'Retrieving', self.name
    return self.val

  def __set__(self, obj, val):
    print 'Updating' , self.name
    self.val = val

>>> class MyClass(object):
  x = RevealAccess(10, 'var "x"')
  y = 5

>>> m = MyClass()
>>> m.x
Retrieving var "x"
10
>>> m.x = 20
Updating var "x"
>>> m.x
Retrieving var "x"
20
>>> m.y
5

这个协议非常简单,并且提供了令人激动的可能。一些用途实在是太普遍以致于它们被打包成独立的函数。像属性(property), 方法(bound和unbound method), 静态方法和类方法都是基于描述器协议的。

Python 相关文章推荐
python网络编程示例(客户端与服务端)
Apr 24 Python
python实现随机森林random forest的原理及方法
Dec 21 Python
Python 通配符删除文件的实例
Apr 24 Python
Sanic框架配置操作分析
Jul 17 Python
Python实现查找最小的k个数示例【两种解法】
Jan 08 Python
python利用ffmpeg进行录制屏幕的方法
Jan 10 Python
对Python中创建进程的两种方式以及进程池详解
Jan 14 Python
python添加模块搜索路径和包的导入方法
Jan 19 Python
Python内置random模块生成随机数的方法
May 31 Python
已安装tensorflow-gpu,但keras无法使用GPU加速的解决
Feb 07 Python
对python中list的五种查找方法说明
Jul 13 Python
Python使用pycharm导入pymysql教程
Sep 16 Python
Python中的字符串查找操作方法总结
Jun 27 #Python
解析Python中的__getitem__专有方法
Jun 27 #Python
详解Python中的__getitem__方法与slice对象的切片操作
Jun 27 #Python
Python使用smtplib模块发送电子邮件的流程详解
Jun 27 #Python
Python教程之全局变量用法
Jun 27 #Python
python设计模式大全
Jun 27 #Python
Python处理JSON时的值报错及编码报错的两则解决实录
Jun 26 #Python
You might like
一个ORACLE分页程序,挺实用的.
2006/10/09 PHP
用PHP实现小型站点广告管理(修正版)
2006/10/09 PHP
用Flash图形化数据(一)
2006/10/09 PHP
杏林同学录(一)
2006/10/09 PHP
使用jQuery避免鼠标双击的解决方案
2013/08/21 Javascript
如何解决Jquery库及其他库之间的$命名冲突
2013/09/15 Javascript
jquery判断元素的子元素是否存在的示例代码
2014/02/04 Javascript
解决用jquery load加载页面到div时,不执行页面js的问题
2014/02/22 Javascript
AngularJS在IE下取数据总是缓存问题的解决方法
2016/08/05 Javascript
微信小程序之获取当前位置经纬度以及地图显示详解
2017/05/09 Javascript
详解vue 模拟后台数据(加载本地json文件)调试
2017/08/25 Javascript
vue父组件向子组件传递多个数据的实例
2018/03/01 Javascript
JavaScript实现的开关灯泡点击切换特效示例
2019/07/08 Javascript
vue按需加载实例详解
2019/09/06 Javascript
js消除图片小游戏代码
2019/12/11 Javascript
Nodejs封装类似express框架的路由实例详解
2020/01/05 NodeJs
vue等两个接口都返回结果再执行下一步的实例
2020/09/08 Javascript
[06:40]2014DOTA2西雅图国际邀请赛 DK战队巡礼
2014/07/07 DOTA
Python下的twisted框架入门指引
2015/04/15 Python
Python彩色化Linux的命令行终端界面的代码实例分享
2016/07/02 Python
python smtplib模块自动收发邮件功能(一)
2018/05/22 Python
django drf框架自带的路由及最简化的视图
2019/09/10 Python
python 遍历pd.Series的index和value
2019/11/26 Python
python保存log日志,实现用log日志画图
2019/12/24 Python
tensorflow将图片保存为tfrecord和tfrecord的读取方式
2020/02/17 Python
Python小整数对象池和字符串intern实例解析
2020/03/21 Python
如何基于pandas读取csv后合并两个股票
2020/09/25 Python
HTML5 Canvas 起步(2) - 路径
2009/05/12 HTML / CSS
英国旅行箱包和行李箱购物网站:Travel Luggage & Cabin Bags
2019/08/26 全球购物
Richards网上商店:当代时尚,遍布巴西
2019/11/03 全球购物
力学专业求职信
2014/07/23 职场文书
学生抄作业检讨书(2篇)
2014/10/17 职场文书
2014年控辍保学工作总结
2014/12/08 职场文书
出生公证书
2015/01/23 职场文书
初一语文教学反思
2016/03/03 职场文书
python机器学习Github已达8.9Kstars模型解释器LIME
2021/11/23 Python