Django 源码WSGI剖析过程详解


Posted in Python onAugust 05, 2019

前言

python 作为一种脚本语言, 已经逐渐大量用于 web 后台开发中, 而基于 python 的 web 应用程序框架也越来越多, Bottle, Django, Flask 等等.

在一个 HTTP 请求到达服务器时, 服务器接收并调用 web 应用程序解析请求, 产生响应数据并返回给服务器. 这里涉及了两个方面的东西: 服务器(server)和应用程序(application). 势必要有一个合约要求服务器和应用程序都去遵守, 如此按照此合约开发的无论是服务器还是应用程序都会具有较大的普遍性. 而这就好像在计算机通信的早期, 各大公司都有属于自己的通信协议, 如此只会让市场杂乱无章, 宁愿只要一种通信协议.

而针对 python 的合约是 WSGI(Python Web Server Gateway Interface). 具体的规定见 PEP 333.

实习的时候一直使用 Django, 下面是结合 Django 学习 WSGI 的笔记.

application/应用程序

在应用程序一方面, 必须提供下面的方法:

def simple_app(environ, start_response):
  """可能是最简单的处理了"""
  status = '200 OK'
  response_headers = [('Content-type', 'text/plain')]
  start_response(status, response_headers)
  return ['Hello world!\n'] # 返回结果必须可迭代

除了方法以外, 还可以用实现了 __call__ 的类实现.

它会被服务器调用, 在这里 environ 是一个字典, 包含了环境变量, REQUEST_METHOD,SCRIPT_NAME,QUERY_STRING 等; start_response 是一个回调函数, 会在 simple_app 中被调用, 主要用来开始响应 HTTP. start_response 原型大概是这样:

def start_response(status, response_headers, exc_info=None):
  ...
  return write # 返回这 write 函数 只是为了兼容之前的 web 框架, 新的框架根本用不到.

参数有 status 即状态码; response_headers HTTP 头, 可以修改; exc_info 是与错误相关的信息, 在产生相应数据过程中可能发生错误, 这时需要更新 HTTP 头部, 通过再次调用 start_response 可以实现. 因此更为详尽的实现写法可能是这种:

def start_response(status, response_headers, exc_info=None):
  if exc_info:
     try:
       # do stuff w/exc_info here
     finally:
       exc_info = None  # Avoid circular ref.
  return write

Server/服务器

在服务器方面, 可以想象最简单的工作就是调用 simple_app(), 然后向客户端发送数据:

result = simple_app(environ, start_response) #名字不一定为 simple_app
try:
  for data in result:
    if data:  # don't send headers until body appears
      write(data)
  if not headers_sent:
    write('')  # send headers now if body was empty
finally:
  if hasattr(result, 'close'):
    result.close()

注意 WSGI 并没有事无巨细规定 web 应用程序和服务器内部的工作方式, 只是是规定了它们之间连接的标准.

python wsgiref 模块

下面看看 Django 是如何实现 WSGI 的. Django 其内部已经自带了一个方便本地测试的小服务器, 所以在刚开始学习 Django 的时候并不需搭建 apache 或者 nginx 服务器. Django 自带的服务器基于 python wsgiref 模块实现, 它自带的测试代码:

# demo_app() 是 application
def demo_app(environ,start_response):
  from StringIO import StringIO
  stdout = StringIO()
  print >>stdout, "Hello world!"
  print >>stdout
  h = environ.items(); h.sort()
  for k,v in h:
    print >>stdout, k,'=', repr(v)
  start_response("200 OK", [('Content-Type','text/plain')])
  return [stdout.getvalue()]

def make_server(
  host, port, app, server_class=WSGIServer, handler_class=WSGIRequestHandler
):
  """Create a new WSGI server listening on `host` and `port` for `app`"""
  server = server_class((host, port), handler_class)
  server.set_app(app)
  return server

if __name__ == '__main__':
  httpd = make_server('', 8000, demo_app)
  sa = httpd.socket.getsockname()
  print "Serving HTTP on", sa[0], "port", sa[1], "..."
  import webbrowser
  webbrowser.open('http://localhost:8000/xyz?abc')
  httpd.handle_request() # serve one request, then exit

python 的库有好多的工具, 这时可能因为需要的原因, 会生出好多的父类, 为了讲明, 根据 wsgiref 模块和它自带的测试用例得出下面的 UML 图(注意, 这只是 wsgiref, 没有涉及 Django):

Django 源码WSGI剖析过程详解

我读完这些的时候已经晕了, 确实是里边的继承关系有些复杂. 因此, 简要的概括了测试代码的执行关系:

  • make_server() 中 WSGIServer 类已经作为服务器类, 负责接收请求, 调用 application 的处理, 返回相应;
  • WSGIRequestHandler 作为请求处理类, 并已经配置在 WSGIServer 中;
  • 接着还设置了 WSGIServer.application 属性(set_app(app));
  • 返回 server 实例.
  • 接着打开浏览器, 即发起请求. 服务器实例 WSGIServer httpd 调用自身 handle_request() 函数处理请求. handle_request() 的工作流程如下:请求-->WSGIServer 收到-->调用 WSGIServer.handle_request()-->调用 _handle_request_noblock()-->调用 process_request()-->调用 finish_request()-->finish_request() 中实例化 WSGIRequestHandler-->实例化过程中会调用 handle()-->handle() 中实例化 ServerHandler-->调用 ServerHandler.run()-->run() 调用 application() 这才是真正的逻辑.-->run() 中在调用 ServerHandler.finish_response() 返回数据-->回到 process_request() 中调用 WSGIServer.shutdown_request() 关闭请求(其实什么也没做)

ps: 明明 application 是 WSGIServer 的属性, 为什么会在 ServerHandler 中调用? 因为在实例化 WSGIRequestHandler 的时候 WSGIServer 把自己搭进去了, 所以在 WSGIRequestHandler 中实例化 ServerHandler 时候可以通过 WSGIRequestHandler.server.get_app() 得到真正的 application.

总结

从上面可以得到, 启动服务器的时候, 无论以什么方式都要给它传递一个 application(), 是一个函数也好, 一个实现了 __call__ 的类也好; 当请求到达服务器的时候, 服务器自会调用 application(), 从而得到相应数据. 至于, 对请求的数据如何相应, application() 中可以细化.

确实, 其中的调用链太过长, 这期间还没有加入 HTTP 头的分析(提取 Cookie等). 如果只为响应一个 "helloworld", 在 WSGIServer.finish_request() 中直接相应数据就好了, WSGIRequestHandler 和 ServerHandler 类可以直接省去, 而只需要你提供一个 application()! 但事实上, 并不只是相应 "helloworld" 那样简单...

关于 Django 中的 WSGI 如何, 下一节再说. Django 源码剖析从这里开始! 我已经在 github 备份了 Django 源码的注释: Decode-Django, 有兴趣的童鞋 fork 吧. 本文结合 python wsgiref, BaseHTTPServer.py, SocketServer.py 模块源码看更好.

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的Django框架中自定义模版标签的示例
Jul 20 Python
Python实现抓取HTML网页并以PDF文件形式保存的方法
May 08 Python
Python使用pymysql从MySQL数据库中读出数据的方法
Jul 25 Python
python实现视频分帧效果
May 31 Python
django 快速启动数据库客户端程序的方法示例
Aug 16 Python
python函数局部变量、全局变量、递归知识点总结
Nov 15 Python
Python装饰器原理与基本用法分析
Jan 07 Python
Python拼接字符串的7种方式详解
Mar 19 Python
Python爬虫实现百度翻译功能过程详解
May 29 Python
python GUI模拟实现计算器
Jun 22 Python
python 实现图片批量压缩的示例
Dec 18 Python
Python图像处理之膨胀与腐蚀的操作
Feb 07 Python
Python使用itchat 功能分析微信好友性别和位置
Aug 05 #Python
Python队列RabbitMQ 使用方法实例记录
Aug 05 #Python
Python 通过微信控制实现app定位发送到个人服务器再转发微信服务器接收位置信息
Aug 05 #Python
基于python框架Scrapy爬取自己的博客内容过程详解
Aug 05 #Python
基于python实现的百度音乐下载器python pyqt改进版(附代码)
Aug 05 #Python
使用coverage统计python web项目代码覆盖率的方法详解
Aug 05 #Python
基于python实现的百度新歌榜、热歌榜下载器(附代码)
Aug 05 #Python
You might like
php中用数组的方法设置cookies
2011/04/21 PHP
PHP解析html类库simple_html_dom的转码bug
2014/05/22 PHP
PHP base64编码后解码乱码的解决办法
2014/06/19 PHP
PHP临时文件的安全性分析
2014/07/04 PHP
php通过curl模拟登陆DZ论坛
2015/05/11 PHP
php实时倒计时功能实现方法详解
2017/02/27 PHP
thinkPHP5.1框架路由::get、post请求简单用法示例
2019/05/06 PHP
学习ExtJS 访问容器对象
2009/10/07 Javascript
js中将字符串转换成json的三种方式
2011/01/12 Javascript
jQuery ajax dataType值为text json探索分享
2013/09/23 Javascript
JS获取单击按钮单元格所在行的信息
2014/06/17 Javascript
用js通过url传参把数据从一个页面传到另一个页面
2014/09/01 Javascript
如何实现移动端浏览器不显示 pc 端的广告
2015/10/15 Javascript
jQuery EasyUi实战教程之布局篇
2016/01/26 Javascript
jQuery查找节点并获取节点属性的方法
2016/09/09 Javascript
JavaScript实现自定义媒体播放器方法介绍
2017/01/03 Javascript
JAVA中截取字符串substring用法详解
2017/04/14 Javascript
webpack.DefinePlugin与cross-env区别详解
2020/02/23 Javascript
Vue脚手架编写试卷页面功能
2020/03/17 Javascript
Python实现全局变量的两个解决方法
2014/07/03 Python
python实现的简单窗口倒计时界面实例
2015/05/05 Python
Python的Flask框架中SQLAlchemy使用时的乱码问题解决
2015/11/07 Python
[机器视觉]使用python自动识别验证码详解
2019/05/16 Python
python selenium 获取接口数据的实现
2020/12/07 Python
阻止移动设备(手机、pad)浏览器双击放大网页的方法
2014/06/03 HTML / CSS
如果NULL和0作为空指针常数是等价的,那我到底该用哪一个
2014/09/16 面试题
财务会计专业推荐信
2013/11/30 职场文书
销售总监岗位职责
2014/01/04 职场文书
酒店总经理欢迎词
2014/01/15 职场文书
秋季红领巾广播稿
2014/01/27 职场文书
电脑专业个人求职信范文
2014/02/04 职场文书
银行服务感言
2014/03/01 职场文书
爱之链教学反思
2014/04/30 职场文书
反四风个人对照检查材料思想汇报
2014/09/25 职场文书
工商管理专业毕业生自我鉴定2014
2014/10/04 职场文书
如何vue使用el-table遍历循环表头和表体数据
2022/04/26 Vue.js