Python中的魔法方法深入理解


Posted in Python onJuly 09, 2014

接触Python也有一段时间了,Python相关的框架和模块也接触了不少,希望把自己接触到的自己 觉得比较好的设计和实现分享给大家,于是取了一个“Charming Python”的小标,算是给自己开了一个头吧, 希望大家多多批评指正。 :)

from flask import request

Flask 是一个人气非常高的Python Web框架,笔者也拿它写过一些大大小小的项目,Flask 有一个特性我非常的喜欢,就是无论在什么地方,如果你想要获取当前的request对象,只要 简单的:

from flask import request
# 从当前request获取内容

request.args

request.forms

request.cookies

... ...

非常简单好记,用起来也非常的友好。不过,简单的背后藏的实现可就稍微有一些复杂了。 跟随我的文章来看看其中的奥秘吧!

两个疑问?

在我们往下看之前,我们先提出两个疑问:

疑问一 : request ,看上去只像是一个静态的类实例,我们为什么可以直接使用request.args 这样的表达式来获取当前request的args属性,而不用使用比如:

from flask import get_request
# 获取当前request

request = get_request()

get_request().args

这样的方式呢?flask是怎么把request对应到当前的请求对象的呢?

疑问二 : 在真正的生产环境中,同一个工作进程下面可能有很多个线程(又或者是协程), 就像我刚刚所说的,request这个类实例是怎么在这样的环境下正常工作的呢?

要知道其中的秘密,我们只能从flask的源码开始看了。

源码,源码,还是源码

首先我们打开flask的源码,从最开始的__init__.py来看看request是怎么出来的:

# File: flask/__init__.py

from .globals import current_app, g, request, session, _request_ctx_stack


# File: flask/globals.py

from functools import partial

from werkzeug.local import LocalStack, LocalProxy


def _lookup_req_object(name):

    top = _request_ctx_stack.top

    if top is None:

        raise RuntimeError('working outside of request context')

    return getattr(top, name)
# context locals

_request_ctx_stack = LocalStack()

request = LocalProxy(partial(_lookup_req_object, 'request'))

我们可以看到flask的request是从globals.py引入的,而这里的定义request的代码为 request = LocalProxy(partial(_lookup_req_object, 'request')) , 如果有不了解 partial是什么东西的同学需要先补下课,首先需要了解一下 partial 。

不过我们可以简单的理解为 partial(func, 'request') 就是使用 'request' 作为func的第一个默认参数来产生另外一个function。

所以, partial(_lookup_req_object, 'request') 我们可以理解为:

生成一个callable的function,这个function主要是从 _request_ctx_stack 这个LocalStack对象获取堆栈顶部的第一个RequestContext对象,然后返回这个对象的request属性。

这个werkzeug下的LocalProxy引起了我们的注意,让我们来看看它是什么吧:

@implements_bool

class LocalProxy(object):

    """Acts as a proxy for a werkzeug local.  Forwards all operations to

    a proxied object.  The only operations not supported for forwarding

    are right handed operands and any kind of assignment.

    ... ...

看前几句介绍就能知道它主要是做什么的了,顾名思义,LocalProxy主要是就一个Proxy, 一个为werkzeug的Local对象服务的代理。他把所以作用到自己的操作全部“转发”到 它所代理的对象上去。

那么,这个Proxy通过Python是怎么实现的呢?答案就在源码里:

# 为了方便说明,我对代码进行了一些删减和改动
@implements_bool

class LocalProxy(object):

    __slots__ = ('__local', '__dict__', '__name__')
    def __init__(self, local, name=None):

        # 这里有一个点需要注意一下,通过了__setattr__方法,self的

        # "_LocalProxy__local" 属性被设置成了local,你可能会好奇

        # 这个属性名称为什么这么奇怪,其实这是因为Python不支持真正的

        # Private member,具体可以参见官方文档:

        # http://docs.python.org/2/tutorial/classes.html#private-variables-and-class-local-references

        # 在这里你只要把它当做 self.__local = local 就可以了 :)

        object.__setattr__(self, '_LocalProxy__local', local)

        object.__setattr__(self, '__name__', name)
    def _get_current_object(self):

        """

        获取当前被代理的真正对象,一般情况下不会主动调用这个方法,除非你因为

        某些性能原因需要获取做这个被代理的真正对象,或者你需要把它用来另外的

        地方。

        """

        # 这里主要是判断代理的对象是不是一个werkzeug的Local对象,在我们分析request

        # 的过程中,不会用到这块逻辑。

        if not hasattr(self.__local, '__release_local__'):

            # 从LocalProxy(partial(_lookup_req_object, 'request'))看来

            # 通过调用self.__local()方法,我们得到了 partial(_lookup_req_object, 'request')()

            # 也就是 ``_request_ctx_stack.top.request``

            return self.__local()

        try:

            return getattr(self.__local, self.__name__)

        except AttributeError:

            raise RuntimeError('no object bound to %s' % self.__name__)
    # 接下来就是一大段一段的Python的魔法方法了,Local Proxy重载了(几乎)?所有Python

    # 内建魔法方法,让所有的关于他自己的operations都指向到了_get_current_object()

    # 所返回的对象,也就是真正的被代理对象。
    ... ...

    __setattr__ = lambda x, n, v: setattr(x._get_current_object(), n, v)

    __delattr__ = lambda x, n: delattr(x._get_current_object(), n)

    __str__ = lambda x: str(x._get_current_object())

    __lt__ = lambda x, o: x._get_current_object() < o

    __le__ = lambda x, o: x._get_current_object() <= o

    __eq__ = lambda x, o: x._get_current_object() == o

    __ne__ = lambda x, o: x._get_current_object() != o

    __gt__ = lambda x, o: x._get_current_object() > o

    __ge__ = lambda x, o: x._get_current_object() >= o

    ... ...

事情到了这里,我们在文章开头的第二个疑问就能够得到解答了,我们之所以不需要使用get_request() 这样的方法调用来获取当前的request对象,都是LocalProxy的功劳。

LocalProxy作为一个代理,通过自定义魔法方法。代理了我们对于request的所有操作, 使之指向到真正的request对象。

怎么样,现在知道了 request.args 不是它看上去那么简简单单的吧。

现在,让我们来看看第二个问题,在多线程的环境下,request是怎么正常工作的呢? 还是让我们回到globals.py吧:

from functools import partial

from werkzeug.local import LocalStack, LocalProxy


def _lookup_req_object(name):

    top = _request_ctx_stack.top

    if top is None:

        raise RuntimeError('working outside of request context')

    return getattr(top, name)
# context locals

_request_ctx_stack = LocalStack()

request = LocalProxy(partial(_lookup_req_object, 'request'))

问题的关键就在于这个 _request_ctx_stack 对象了,让我们找到LocalStack的源码:

class LocalStack(object):
    def __init__(self):

        # 其实LocalStack主要还是用到了另外一个Local类

        # 它的一些关键的方法也被代理到了这个Local类上

        # 相对于Local类来说,它多实现了一些和堆栈“Stack”相关方法,比如push、pop之类

        # 所以,我们只要直接看Local代码就可以

        self._local = Local()
    ... ...
    @property

    def top(self):

        """

        返回堆栈顶部的对象

        """

        try:

            return self._local.stack[-1]

        except (AttributeError, IndexError):

            return None


# 所以,当我们调用_request_ctx_stack.top时,其实是调用了 _request_ctx_stack._local.stack[-1]

# 让我们来看看Local类是怎么实现的吧,不过在这之前我们得先看一下下面出现的get_ident方法
# 首先尝试着从greenlet导入getcurrent方法,这是因为如果flask跑在了像gevent这种容器下的时候

# 所以的请求都是以greenlet作为最小单位,而不是thread线程。

try:

    from greenlet import getcurrent as get_ident

except ImportError:

    try:

        from thread import get_ident

    except ImportError:

        from _thread import get_ident
# 总之,这个get_ident方法将会返回当前的协程/线程ID,这对于每一个请求都是唯一的


class Local(object):

    __slots__ = ('__storage__', '__ident_func__')
    def __init__(self):

        object.__setattr__(self, '__storage__', {})

        object.__setattr__(self, '__ident_func__', get_ident)
    ... ...
    # 问题的关键就在于Local类重载了__getattr__和__setattr__这两个魔法方法
    def __getattr__(self, name):

        try:

            # 在这里我们返回调用了self.__ident_func__(),也就是当前的唯一ID

            # 来作为__storage__的key

            return self.__storage__[self.__ident_func__()][name]

        except KeyError:

            raise AttributeError(name)
    def __setattr__(self, name, value):

        ident = self.__ident_func__()

        storage = self.__storage__

        try:

            storage[ident][name] = value

        except KeyError:

            storage[ident] = {name: value}
    ... ...
    # 重载了这两个魔法方法之后
    # Local().some_value 不再是它看上去那么简单了:

    # 首先我们先调用get_ident方法来获取当前运行的线程/协程ID

    # 然后获取这个ID空间下的some_value属性,就像这样:

    #

    #   Local().some_value -> Local()[current_thread_id()].some_value

    #

    # 设置属性的时候也是这个道理

通过这些分析,相信疑问二也得到了解决,通过使用了当前的线程/协程ID,加上重载一些魔法 方法,Flask实现了让不同工作线程都使用了自己的那一份stack对象。这样保证了request的正常 工作。

说到这里,这篇文章也差不多了。我们可以看到,为了使用者的方便,作为框架和工具的开发者 需要付出很多额外的工作,有时候,使用一些语言上的魔法是无法避免的,Python在这方面也有着 相当不错的支持。

我们所需要做到的就是,学习掌握好Python中那些魔法的部分,使用魔法来让自己的代码更简洁, 使用更方便。

但是要记住,魔法虽然炫,千万不要滥用哦。

Python 相关文章推荐
Python中用PIL库批量给图片加上序号的教程
May 06 Python
python检查序列seq是否含有aset中项的方法
Jun 30 Python
python不换行之end=与逗号的意思及用途
Nov 21 Python
pytorch构建网络模型的4种方法
Apr 13 Python
pandas.dataframe中根据条件获取元素所在的位置方法(索引)
Jun 07 Python
python 通过 socket 发送文件的实例代码
Aug 14 Python
python实现创建新列表和新字典,并使元素及键值对全部变成小写
Jan 15 Python
Django框架模板介绍
Jan 15 Python
Python 通过requests实现腾讯新闻抓取爬虫的方法
Feb 22 Python
Django stark组件使用及原理详解
Aug 22 Python
Django 设置admin后台表和App(应用)为中文名的操作方法
May 10 Python
详解Python中*args和**kwargs的使用
Apr 07 Python
gearman的安装启动及python API使用实例
Jul 08 #Python
python实现跨文件全局变量的方法
Jul 07 #Python
Python中的并发编程实例
Jul 07 #Python
Python编程语言的35个与众不同之处(语言特征和使用技巧)
Jul 07 #Python
python基于mysql实现的简单队列以及跨进程锁实例详解
Jul 07 #Python
python中使用urllib2获取http请求状态码的代码例子
Jul 07 #Python
Python中使用urllib2防止302跳转的代码例子
Jul 07 #Python
You might like
PHP中使用sleep造成mysql读取失败的案例和解决方法
2014/08/21 PHP
PHP中SESSION的注销与清除
2015/04/16 PHP
php curl请求信息和返回信息设置代码实例
2015/04/27 PHP
JavaScript中SQL语句的应用实现
2010/05/04 Javascript
JS获取鼠标坐标的实例方法
2013/07/18 Javascript
jQuery动态显示和隐藏datagrid中的某一列的方法
2013/12/11 Javascript
解决自定义$(id)的方法与jquery选择器$冲突的问题
2014/06/14 Javascript
HTML5实现留言和回复页面样式
2015/07/22 Javascript
详解javascript实现自定义事件
2016/01/19 Javascript
jQuery实现div拖拽效果实例分析
2016/02/20 Javascript
基于jQuery实现收缩展开功能
2016/03/18 Javascript
如何在Linux上安装Node.js
2016/04/01 Javascript
什么是JavaScript注入攻击?
2016/09/14 Javascript
jQuery弹出层插件popShow(改进版)用法示例
2017/01/23 Javascript
原生JS实现的轮播图功能详解
2018/08/06 Javascript
深入理解Vue.js轻量高效的前端组件化方案
2018/12/10 Javascript
Vue的生命周期操作示例
2019/09/17 Javascript
利用React高阶组件实现一个面包屑导航的示例
2020/08/23 Javascript
Python计算已经过去多少个周末的方法
2015/07/25 Python
Python中条件判断语句的简单使用方法
2015/08/21 Python
python爬虫之xpath的基本使用详解
2018/04/18 Python
windows下python安装小白入门教程
2018/09/18 Python
Python装饰器语法糖
2019/01/02 Python
FFT快速傅里叶变换的python实现过程解析
2019/10/21 Python
解决python-docx打包之后找不到default.docx的问题
2020/02/13 Python
分享unittest单元测试框架中几种常用的用例加载方法
2020/12/02 Python
HTML5 使用 sessionStorage 进行页面传值的方法
2018/07/02 HTML / CSS
size?德国官方网站:英国伦敦的球鞋精品店
2018/03/17 全球购物
DNA测试:Orig3n
2019/03/01 全球购物
Farfetch台湾官网:奢侈品牌时尚购物平台
2019/06/17 全球购物
俄罗斯领先的移动和数字设备在线商店:Svyaznoy.ru
2020/12/21 全球购物
公司联欢晚会主持词
2014/03/22 职场文书
2014年公务员工作总结
2014/11/18 职场文书
2015年教务处干事工作总结
2015/07/22 职场文书
2016高三毕业赠言寄语
2015/12/04 职场文书
漫画《催眠麦克风-Dawn Of Divisions》第二卷PV公开
2022/04/05 日漫