从源码解析Python的Flask框架中request对象的用法


Posted in Python onJune 02, 2016

from flask import request
Flask 是一个人气非常高的Python Web框架,笔者也拿它写过一些大大小小的项目,Flask 有一个特性我非常的喜欢,就是无论在什么地方,如果你想要获取当前的request对象,只要 简单的:
从当前request获取内容:

  • method: 起始行,元数据
  • host: 起始行,元数据
  • path: 起始行,元数据
  • environ: 其中的 SERVER_PROTOCOL 是起始行,元数据
  • headers: 头,元数据
  • data: body, 元数据
  • remote_addr: 客户端地址
  • args: 请求链接中的参数(GET 参数),解析后
  • form: form 提交中的参数,解析后
  • values: args 和 forms 的集合
  • json: json 格式的 body 数据,解析后
  • cookies: 指向 Cookie 的链接

Request 对象对参数的分类很细,注意 args, form, valeus, json 的区别。当然最保险也最原始的方式就是自己去解析 data。

另一个需注意的地方是某些属性的类型,并不是 Python 标准的 dict ,而是 MultiDict 或者 CombinedMultiDict。这是为了应对 HTTP 协议中参数都是可重复的这点而做的设定。因此取值的时候要注意这些对象的特性,比如 .get() 和 .get_list() 方法返回的东西是不同的。
非常简单好记,用起来也非常的友好。不过,简单的背后藏的实现可就稍微有一些复杂了。 跟随我的文章来看看其中的奥秘吧!

两个疑问?
在我们往下看之前,我们先提出两个疑问:

疑问一 : request ,看上去只像是一个静态的类实例,我们为什么可以直接使用request.args 这样的表达式来获取当前request的args属性,而不用使用比如:

from flask import get_request

# 获取当前request
request = get_request()
get_request().args

这样的方式呢?flask是怎么把request对应到当前的请求对象的呢?

疑问二 : 在真正的生产环境中,同一个工作进程下面可能有很多个线程(又或者是协程), 就像我刚刚所说的,request这个类实例是怎么在这样的环境下正常工作的呢?

要知道其中的秘密,我们只能从flask的源码开始看了。

源码,源码,还是源码
首先我们打开flask的源码,从最开始的__init__.py来看看request是怎么出来的:

# File: flask/__init__.py
from .globals import current_app, g, request, session, _request_ctx_stack


# File: flask/globals.py
from functools import partial
from werkzeug.local import LocalStack, LocalProxy


def _lookup_req_object(name):
  top = _request_ctx_stack.top
  if top is None:
    raise RuntimeError('working outside of request context')
  return getattr(top, name)

# context locals
_request_ctx_stack = LocalStack()
request = LocalProxy(partial(_lookup_req_object, 'request'))

我们可以看到flask的request是从globals.py引入的,而这里的定义request的代码为 request = LocalProxy(partial(_lookup_req_object, 'request')) , 如果有不了解 partial是什么东西的同学需要先补下课,首先需要了解一下 partial 。

不过我们可以简单的理解为 partial(func, 'request') 就是使用 'request' 作为func的第一个默认参数来产生另外一个function。

所以, partial(_lookup_req_object, 'request') 我们可以理解为:

生成一个callable的function,这个function主要是从 _request_ctx_stack 这个LocalStack对象获取堆栈顶部的第一个RequestContext对象,然后返回这个对象的request属性。

这个werkzeug下的LocalProxy引起了我们的注意,让我们来看看它是什么吧:

@implements_bool
class LocalProxy(object):
  """Acts as a proxy for a werkzeug local. Forwards all operations to
  a proxied object. The only operations not supported for forwarding
  are right handed operands and any kind of assignment.
  ... ...

看前几句介绍就能知道它主要是做什么的了,顾名思义,LocalProxy主要是就一个Proxy, 一个为werkzeug的Local对象服务的代理。他把所以作用到自己的操作全部“转发”到 它所代理的对象上去。

那么,这个Proxy通过Python是怎么实现的呢?答案就在源码里:

# 为了方便说明,我对代码进行了一些删减和改动

@implements_bool
class LocalProxy(object):
  __slots__ = ('__local', '__dict__', '__name__')

  def __init__(self, local, name=None):
    # 这里有一个点需要注意一下,通过了__setattr__方法,self的
    # "_LocalProxy__local" 属性被设置成了local,你可能会好奇
    # 这个属性名称为什么这么奇怪,其实这是因为Python不支持真正的
    # Private member,具体可以参见官方文档:
    # http://docs.python.org/2/tutorial/classes.html#private-variables-and-class-local-references
    # 在这里你只要把它当做 self.__local = local 就可以了 :)
    object.__setattr__(self, '_LocalProxy__local', local)
    object.__setattr__(self, '__name__', name)

  def _get_current_object(self):
    """
    获取当前被代理的真正对象,一般情况下不会主动调用这个方法,除非你因为
    某些性能原因需要获取做这个被代理的真正对象,或者你需要把它用来另外的
    地方。
    """
    # 这里主要是判断代理的对象是不是一个werkzeug的Local对象,在我们分析request
    # 的过程中,不会用到这块逻辑。
    if not hasattr(self.__local, '__release_local__'):
      # 从LocalProxy(partial(_lookup_req_object, 'request'))看来
      # 通过调用self.__local()方法,我们得到了 partial(_lookup_req_object, 'request')()
      # 也就是 ``_request_ctx_stack.top.request``
      return self.__local()
    try:
      return getattr(self.__local, self.__name__)
    except AttributeError:
      raise RuntimeError('no object bound to %s' % self.__name__)

  # 接下来就是一大段一段的Python的魔法方法了,Local Proxy重载了(几乎)?所有Python
  # 内建魔法方法,让所有的关于他自己的operations都指向到了_get_current_object()
  # 所返回的对象,也就是真正的被代理对象。

  ... ...
  __setattr__ = lambda x, n, v: setattr(x._get_current_object(), n, v)
  __delattr__ = lambda x, n: delattr(x._get_current_object(), n)
  __str__ = lambda x: str(x._get_current_object())
  __lt__ = lambda x, o: x._get_current_object() < o
  __le__ = lambda x, o: x._get_current_object() <= o
  __eq__ = lambda x, o: x._get_current_object() == o
  __ne__ = lambda x, o: x._get_current_object() != o
  __gt__ = lambda x, o: x._get_current_object() > o
  __ge__ = lambda x, o: x._get_current_object() >= o
  ... ...

事情到了这里,我们在文章开头的第二个疑问就能够得到解答了,我们之所以不需要使用get_request() 这样的方法调用来获取当前的request对象,都是LocalProxy的功劳。

LocalProxy作为一个代理,通过自定义魔法方法。代理了我们对于request的所有操作, 使之指向到真正的request对象。

怎么样,现在知道了 request.args 不是它看上去那么简简单单的吧。

现在,让我们来看看第二个问题,在多线程的环境下,request是怎么正常工作的呢? 还是让我们回到globals.py吧:

from functools import partial
from werkzeug.local import LocalStack, LocalProxy


def _lookup_req_object(name):
  top = _request_ctx_stack.top
  if top is None:
    raise RuntimeError('working outside of request context')
  return getattr(top, name)

# context locals
_request_ctx_stack = LocalStack()
request = LocalProxy(partial(_lookup_req_object, 'request'))

问题的关键就在于这个 _request_ctx_stack 对象了,让我们找到LocalStack的源码:

class LocalStack(object):

  def __init__(self):
    # 其实LocalStack主要还是用到了另外一个Local类
    # 它的一些关键的方法也被代理到了这个Local类上
    # 相对于Local类来说,它多实现了一些和堆栈“Stack”相关方法,比如push、pop之类
    # 所以,我们只要直接看Local代码就可以
    self._local = Local()

  ... ...

  @property
  def top(self):
    """
    返回堆栈顶部的对象
    """
    try:
      return self._local.stack[-1]
    except (AttributeError, IndexError):
      return None


# 所以,当我们调用_request_ctx_stack.top时,其实是调用了 _request_ctx_stack._local.stack[-1]
# 让我们来看看Local类是怎么实现的吧,不过在这之前我们得先看一下下面出现的get_ident方法

# 首先尝试着从greenlet导入getcurrent方法,这是因为如果flask跑在了像gevent这种容器下的时候
# 所以的请求都是以greenlet作为最小单位,而不是thread线程。
try:
  from greenlet import getcurrent as get_ident
except ImportError:
  try:
    from thread import get_ident
  except ImportError:
    from _thread import get_ident

# 总之,这个get_ident方法将会返回当前的协程/线程ID,这对于每一个请求都是唯一的


class Local(object):
  __slots__ = ('__storage__', '__ident_func__')

  def __init__(self):
    object.__setattr__(self, '__storage__', {})
    object.__setattr__(self, '__ident_func__', get_ident)

  ... ...

  # 问题的关键就在于Local类重载了__getattr__和__setattr__这两个魔法方法

  def __getattr__(self, name):
    try:
      # 在这里我们返回调用了self.__ident_func__(),也就是当前的唯一ID
      # 来作为__storage__的key
      return self.__storage__[self.__ident_func__()][name]
    except KeyError:
      raise AttributeError(name)

  def __setattr__(self, name, value):
    ident = self.__ident_func__()
    storage = self.__storage__
    try:
      storage[ident][name] = value
    except KeyError:
      storage[ident] = {name: value}

  ... ...

  # 重载了这两个魔法方法之后

  # Local().some_value 不再是它看上去那么简单了:
  # 首先我们先调用get_ident方法来获取当前运行的线程/协程ID
  # 然后获取这个ID空间下的some_value属性,就像这样:
  #
  #  Local().some_value -> Local()[current_thread_id()].some_value
  #
  # 设置属性的时候也是这个道理

通过这些分析,相信疑问二也得到了解决,通过使用了当前的线程/协程ID,加上重载一些魔法 方法,Flask实现了让不同工作线程都使用了自己的那一份stack对象。这样保证了request的正常 工作。

说到这里,这篇文章也差不多了。我们可以看到,为了使用者的方便,作为框架和工具的开发者 需要付出很多额外的工作,有时候,使用一些语言上的魔法是无法避免的,Python在这方面也有着 相当不错的支持。

我们所需要做到的就是,学习掌握好Python中那些魔法的部分,使用魔法来让自己的代码更简洁, 使用更方便。

但是要记住,魔法虽然炫,千万不要滥用哦。

Python 相关文章推荐
Python 分析Nginx访问日志并保存到MySQL数据库实例
Mar 13 Python
Python中MySQLdb和torndb模块对MySQL的断连问题处理
Nov 09 Python
python嵌套函数使用外部函数变量的方法(Python2和Python3)
Jan 31 Python
python实现决策树C4.5算法详解(在ID3基础上改进)
May 31 Python
Python2.7基于笛卡尔积算法实现N个数组的排列组合运算示例
Nov 23 Python
VTK与Python实现机械臂三维模型可视化详解
Dec 13 Python
Python 字符串换行的多种方式
Sep 06 Python
Django2 连接MySQL及model测试实例分析
Dec 10 Python
Python3.6 + TensorFlow 安装配置图文教程(Windows 64 bit)
Feb 24 Python
详解查看Python解释器路径的两种方式
Oct 15 Python
python如何进行基准测试
Apr 26 Python
使用python求解迷宫问题的三种实现方法
Mar 17 Python
Python搭建APNS苹果推送通知推送服务的相关模块使用指南
Jun 02 #Python
Python的Django框架中使用SQLAlchemy操作数据库的教程
Jun 02 #Python
实例解析Python中的__new__特殊方法
Jun 02 #Python
详解Python中的__new__、__init__、__call__三个特殊方法
Jun 02 #Python
Python实现优先级队列结构的方法详解
Jun 02 #Python
KMP算法精解及其Python版的代码示例
Jun 01 #Python
Python缩进和冒号详解
Jun 01 #Python
You might like
IIS+PHP+MySQL+Zend配置 (视频教程)
2006/12/13 PHP
在PHP中使用Sockets 从Usenet中获取文件
2008/01/10 PHP
WindowsXP中快速配置Apache+PHP5+Mysql
2008/06/05 PHP
Yii中srbac权限扩展模块工作原理与用法分析
2016/07/14 PHP
实现PHP中session存储及删除变量
2018/10/15 PHP
PHP+swoole+linux实现系统监控和性能优化操作示例
2019/04/15 PHP
jQuery 使用手册(五)
2009/09/23 Javascript
使用jQuery+HttpHandler+xml模拟一个三级联动的例子
2011/08/09 Javascript
基于Bootstrap实现图片轮播效果
2016/05/22 Javascript
jQuery Ajax 上传文件处理方式介绍(推荐)
2016/06/30 Javascript
微信小程序 form组件详解及简单实例
2017/01/10 Javascript
js实现带缓动动画的导航栏效果
2017/01/16 Javascript
Angular.JS去掉访问路径URL中的#号详解
2017/03/30 Javascript
Vue原理剖析 实现双向绑定MVVM
2017/05/03 Javascript
vue webuploader 文件上传组件开发
2017/09/23 Javascript
React Native预设占位placeholder的使用
2017/09/28 Javascript
JS脚本加载后执行相应回调函数的操作方法
2018/02/28 Javascript
vue项目中使用Hbuilder打包app 设置沉浸式状态栏的方法
2018/10/22 Javascript
Python列表切片用法示例
2017/04/19 Python
Python类的继承和多态代码详解
2017/12/27 Python
Python+matplotlib+numpy绘制精美的条形统计图
2018/01/02 Python
python查看列的唯一值方法
2018/07/17 Python
Python实现的栈、队列、文件目录遍历操作示例
2019/05/06 Python
python实现音乐播放器 python实现花框音乐盒子
2020/02/25 Python
python 两个一样的字符串用==结果为false问题的解决
2020/03/12 Python
使用python将微信image下.dat文件解密为.png的方法
2020/11/30 Python
美国一家专业的太阳镜网上零售商:Solstice太阳镜
2016/07/25 全球购物
Ann Taylor官方网站:美国最大的女性产品制造商之一
2016/09/14 全球购物
彪马土耳其官网:PUMA土耳其
2019/07/14 全球购物
Wallis官网:英国女装零售商
2020/01/21 全球购物
车间工艺员岗位职责
2013/12/09 职场文书
护士长竞聘演讲稿
2014/04/30 职场文书
环保标语大全
2014/06/12 职场文书
初中国旗下的演讲稿
2014/08/28 职场文书
回门宴新娘答谢词
2015/09/29 职场文书
用 Python 定义 Schema 并生成 Parquet 文件详情
2021/09/25 Python