从源码解析Python的Flask框架中request对象的用法


Posted in Python onJune 02, 2016

from flask import request
Flask 是一个人气非常高的Python Web框架,笔者也拿它写过一些大大小小的项目,Flask 有一个特性我非常的喜欢,就是无论在什么地方,如果你想要获取当前的request对象,只要 简单的:
从当前request获取内容:

  • method: 起始行,元数据
  • host: 起始行,元数据
  • path: 起始行,元数据
  • environ: 其中的 SERVER_PROTOCOL 是起始行,元数据
  • headers: 头,元数据
  • data: body, 元数据
  • remote_addr: 客户端地址
  • args: 请求链接中的参数(GET 参数),解析后
  • form: form 提交中的参数,解析后
  • values: args 和 forms 的集合
  • json: json 格式的 body 数据,解析后
  • cookies: 指向 Cookie 的链接

Request 对象对参数的分类很细,注意 args, form, valeus, json 的区别。当然最保险也最原始的方式就是自己去解析 data。

另一个需注意的地方是某些属性的类型,并不是 Python 标准的 dict ,而是 MultiDict 或者 CombinedMultiDict。这是为了应对 HTTP 协议中参数都是可重复的这点而做的设定。因此取值的时候要注意这些对象的特性,比如 .get() 和 .get_list() 方法返回的东西是不同的。
非常简单好记,用起来也非常的友好。不过,简单的背后藏的实现可就稍微有一些复杂了。 跟随我的文章来看看其中的奥秘吧!

两个疑问?
在我们往下看之前,我们先提出两个疑问:

疑问一 : request ,看上去只像是一个静态的类实例,我们为什么可以直接使用request.args 这样的表达式来获取当前request的args属性,而不用使用比如:

from flask import get_request

# 获取当前request
request = get_request()
get_request().args

这样的方式呢?flask是怎么把request对应到当前的请求对象的呢?

疑问二 : 在真正的生产环境中,同一个工作进程下面可能有很多个线程(又或者是协程), 就像我刚刚所说的,request这个类实例是怎么在这样的环境下正常工作的呢?

要知道其中的秘密,我们只能从flask的源码开始看了。

源码,源码,还是源码
首先我们打开flask的源码,从最开始的__init__.py来看看request是怎么出来的:

# File: flask/__init__.py
from .globals import current_app, g, request, session, _request_ctx_stack


# File: flask/globals.py
from functools import partial
from werkzeug.local import LocalStack, LocalProxy


def _lookup_req_object(name):
  top = _request_ctx_stack.top
  if top is None:
    raise RuntimeError('working outside of request context')
  return getattr(top, name)

# context locals
_request_ctx_stack = LocalStack()
request = LocalProxy(partial(_lookup_req_object, 'request'))

我们可以看到flask的request是从globals.py引入的,而这里的定义request的代码为 request = LocalProxy(partial(_lookup_req_object, 'request')) , 如果有不了解 partial是什么东西的同学需要先补下课,首先需要了解一下 partial 。

不过我们可以简单的理解为 partial(func, 'request') 就是使用 'request' 作为func的第一个默认参数来产生另外一个function。

所以, partial(_lookup_req_object, 'request') 我们可以理解为:

生成一个callable的function,这个function主要是从 _request_ctx_stack 这个LocalStack对象获取堆栈顶部的第一个RequestContext对象,然后返回这个对象的request属性。

这个werkzeug下的LocalProxy引起了我们的注意,让我们来看看它是什么吧:

@implements_bool
class LocalProxy(object):
  """Acts as a proxy for a werkzeug local. Forwards all operations to
  a proxied object. The only operations not supported for forwarding
  are right handed operands and any kind of assignment.
  ... ...

看前几句介绍就能知道它主要是做什么的了,顾名思义,LocalProxy主要是就一个Proxy, 一个为werkzeug的Local对象服务的代理。他把所以作用到自己的操作全部“转发”到 它所代理的对象上去。

那么,这个Proxy通过Python是怎么实现的呢?答案就在源码里:

# 为了方便说明,我对代码进行了一些删减和改动

@implements_bool
class LocalProxy(object):
  __slots__ = ('__local', '__dict__', '__name__')

  def __init__(self, local, name=None):
    # 这里有一个点需要注意一下,通过了__setattr__方法,self的
    # "_LocalProxy__local" 属性被设置成了local,你可能会好奇
    # 这个属性名称为什么这么奇怪,其实这是因为Python不支持真正的
    # Private member,具体可以参见官方文档:
    # http://docs.python.org/2/tutorial/classes.html#private-variables-and-class-local-references
    # 在这里你只要把它当做 self.__local = local 就可以了 :)
    object.__setattr__(self, '_LocalProxy__local', local)
    object.__setattr__(self, '__name__', name)

  def _get_current_object(self):
    """
    获取当前被代理的真正对象,一般情况下不会主动调用这个方法,除非你因为
    某些性能原因需要获取做这个被代理的真正对象,或者你需要把它用来另外的
    地方。
    """
    # 这里主要是判断代理的对象是不是一个werkzeug的Local对象,在我们分析request
    # 的过程中,不会用到这块逻辑。
    if not hasattr(self.__local, '__release_local__'):
      # 从LocalProxy(partial(_lookup_req_object, 'request'))看来
      # 通过调用self.__local()方法,我们得到了 partial(_lookup_req_object, 'request')()
      # 也就是 ``_request_ctx_stack.top.request``
      return self.__local()
    try:
      return getattr(self.__local, self.__name__)
    except AttributeError:
      raise RuntimeError('no object bound to %s' % self.__name__)

  # 接下来就是一大段一段的Python的魔法方法了,Local Proxy重载了(几乎)?所有Python
  # 内建魔法方法,让所有的关于他自己的operations都指向到了_get_current_object()
  # 所返回的对象,也就是真正的被代理对象。

  ... ...
  __setattr__ = lambda x, n, v: setattr(x._get_current_object(), n, v)
  __delattr__ = lambda x, n: delattr(x._get_current_object(), n)
  __str__ = lambda x: str(x._get_current_object())
  __lt__ = lambda x, o: x._get_current_object() < o
  __le__ = lambda x, o: x._get_current_object() <= o
  __eq__ = lambda x, o: x._get_current_object() == o
  __ne__ = lambda x, o: x._get_current_object() != o
  __gt__ = lambda x, o: x._get_current_object() > o
  __ge__ = lambda x, o: x._get_current_object() >= o
  ... ...

事情到了这里,我们在文章开头的第二个疑问就能够得到解答了,我们之所以不需要使用get_request() 这样的方法调用来获取当前的request对象,都是LocalProxy的功劳。

LocalProxy作为一个代理,通过自定义魔法方法。代理了我们对于request的所有操作, 使之指向到真正的request对象。

怎么样,现在知道了 request.args 不是它看上去那么简简单单的吧。

现在,让我们来看看第二个问题,在多线程的环境下,request是怎么正常工作的呢? 还是让我们回到globals.py吧:

from functools import partial
from werkzeug.local import LocalStack, LocalProxy


def _lookup_req_object(name):
  top = _request_ctx_stack.top
  if top is None:
    raise RuntimeError('working outside of request context')
  return getattr(top, name)

# context locals
_request_ctx_stack = LocalStack()
request = LocalProxy(partial(_lookup_req_object, 'request'))

问题的关键就在于这个 _request_ctx_stack 对象了,让我们找到LocalStack的源码:

class LocalStack(object):

  def __init__(self):
    # 其实LocalStack主要还是用到了另外一个Local类
    # 它的一些关键的方法也被代理到了这个Local类上
    # 相对于Local类来说,它多实现了一些和堆栈“Stack”相关方法,比如push、pop之类
    # 所以,我们只要直接看Local代码就可以
    self._local = Local()

  ... ...

  @property
  def top(self):
    """
    返回堆栈顶部的对象
    """
    try:
      return self._local.stack[-1]
    except (AttributeError, IndexError):
      return None


# 所以,当我们调用_request_ctx_stack.top时,其实是调用了 _request_ctx_stack._local.stack[-1]
# 让我们来看看Local类是怎么实现的吧,不过在这之前我们得先看一下下面出现的get_ident方法

# 首先尝试着从greenlet导入getcurrent方法,这是因为如果flask跑在了像gevent这种容器下的时候
# 所以的请求都是以greenlet作为最小单位,而不是thread线程。
try:
  from greenlet import getcurrent as get_ident
except ImportError:
  try:
    from thread import get_ident
  except ImportError:
    from _thread import get_ident

# 总之,这个get_ident方法将会返回当前的协程/线程ID,这对于每一个请求都是唯一的


class Local(object):
  __slots__ = ('__storage__', '__ident_func__')

  def __init__(self):
    object.__setattr__(self, '__storage__', {})
    object.__setattr__(self, '__ident_func__', get_ident)

  ... ...

  # 问题的关键就在于Local类重载了__getattr__和__setattr__这两个魔法方法

  def __getattr__(self, name):
    try:
      # 在这里我们返回调用了self.__ident_func__(),也就是当前的唯一ID
      # 来作为__storage__的key
      return self.__storage__[self.__ident_func__()][name]
    except KeyError:
      raise AttributeError(name)

  def __setattr__(self, name, value):
    ident = self.__ident_func__()
    storage = self.__storage__
    try:
      storage[ident][name] = value
    except KeyError:
      storage[ident] = {name: value}

  ... ...

  # 重载了这两个魔法方法之后

  # Local().some_value 不再是它看上去那么简单了:
  # 首先我们先调用get_ident方法来获取当前运行的线程/协程ID
  # 然后获取这个ID空间下的some_value属性,就像这样:
  #
  #  Local().some_value -> Local()[current_thread_id()].some_value
  #
  # 设置属性的时候也是这个道理

通过这些分析,相信疑问二也得到了解决,通过使用了当前的线程/协程ID,加上重载一些魔法 方法,Flask实现了让不同工作线程都使用了自己的那一份stack对象。这样保证了request的正常 工作。

说到这里,这篇文章也差不多了。我们可以看到,为了使用者的方便,作为框架和工具的开发者 需要付出很多额外的工作,有时候,使用一些语言上的魔法是无法避免的,Python在这方面也有着 相当不错的支持。

我们所需要做到的就是,学习掌握好Python中那些魔法的部分,使用魔法来让自己的代码更简洁, 使用更方便。

但是要记住,魔法虽然炫,千万不要滥用哦。

Python 相关文章推荐
使用Python的Tornado框架实现一个简单的WebQQ机器人
Apr 24 Python
Python随手笔记之标准类型内建函数
Dec 02 Python
基于Python实现的ID3决策树功能示例
Jan 02 Python
python 对给定可迭代集合统计出现频率,并排序的方法
Oct 18 Python
解决python中无法自动补全代码的问题
Dec 04 Python
Python实现的统计文章单词次数功能示例
Jul 08 Python
python pyenv多版本管理工具的使用
Dec 23 Python
Python requests获取网页常用方法解析
Feb 20 Python
通过实例解析Python return运行原理
Mar 04 Python
django为Form生成的label标签添加class方式
May 20 Python
详解python方法之绑定方法与非绑定方法
Aug 17 Python
Python 利用Entrez库筛选下载PubMed文献摘要的示例
Nov 24 Python
Python搭建APNS苹果推送通知推送服务的相关模块使用指南
Jun 02 #Python
Python的Django框架中使用SQLAlchemy操作数据库的教程
Jun 02 #Python
实例解析Python中的__new__特殊方法
Jun 02 #Python
详解Python中的__new__、__init__、__call__三个特殊方法
Jun 02 #Python
Python实现优先级队列结构的方法详解
Jun 02 #Python
KMP算法精解及其Python版的代码示例
Jun 01 #Python
Python缩进和冒号详解
Jun 01 #Python
You might like
phpmail类发送邮件函数代码
2012/02/20 PHP
基于PHP服务端图片生成缩略图的方法详解
2013/06/20 PHP
CodeIgniter基本配置详细介绍
2013/11/12 PHP
PHP实现AES256加密算法实例
2014/09/22 PHP
初学Javascript的一些总结
2008/11/03 Javascript
菜鸟学习JavaScript小实验之函数引用
2010/11/17 Javascript
关于用Jquery的height()、width()计算动态插入的IMG标签的宽高的问题
2010/12/08 Javascript
只需20行代码就可以写出CSS覆盖率测试脚本
2013/04/24 Javascript
Nodejs+express+html5 实现拖拽上传
2014/08/08 NodeJs
Nodejs极简入门教程(二):定时器
2014/10/25 NodeJs
jquery果冻抖动效果实现方法
2015/01/15 Javascript
jQuery处理图片加载失败的常用方法
2015/06/08 Javascript
深入理解关于javascript中apply()和call()方法的区别
2016/04/12 Javascript
Vue2.0+ElementUI实现表格翻页的实例
2017/10/23 Javascript
解决Vue keep-alive 调用 $destory() 页面不再被缓存的情况
2020/10/30 Javascript
前端 javascript 实现文件下载的示例
2020/11/24 Javascript
python的Template使用指南
2014/09/11 Python
Django自定义插件实现网站登录验证码功能
2017/04/19 Python
Python 最大概率法进行汉语切分的方法
2018/12/14 Python
python递归下载文件夹下所有文件
2019/08/31 Python
python每5分钟从kafka中提取数据的例子
2019/12/23 Python
python print 格式化输出,动态指定长度的实现
2020/04/12 Python
Pytorch高阶OP操作where,gather原理
2020/04/30 Python
python中Django文件上传方法详解
2020/08/05 Python
详解scrapy内置中间件的顺序
2020/09/28 Python
详解python定时简单爬取网页新闻存入数据库并发送邮件
2020/11/27 Python
一款简洁的纯css3代码实现的动画导航
2014/10/31 HTML / CSS
驴妈妈旅游网:中国新型的B2C旅游电子商务网站
2016/08/16 全球购物
Hotels.com南非:酒店预订
2017/11/02 全球购物
卡骆驰德国官方网站:Crocs德国
2019/03/29 全球购物
文案策划求职信
2014/03/18 职场文书
2014年安全生产责任书
2014/07/22 职场文书
晋江市委常委班子四风问题整改工作方案
2014/10/26 职场文书
2014年学生管理工作总结
2014/12/20 职场文书
2016年12月份红领巾广播稿
2015/12/21 职场文书
PyCharm配置KBEngine快速处理代码提示冲突、配置命令问题
2021/04/03 Python