Tornado 多进程实现分析详解


Posted in Python onJanuary 12, 2018

引子

Tornado 是一个网络异步的的web开发框架, 并且可以利用多进程进行提高效率, 下面是创建一个多进程 tornado 程序的例子.

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import os
import time

import tornado.web
import tornado.httpserver
import tornado.ioloop
import tornado.netutil
import tornado.process


class LongHandler(tornado.web.RequestHandler):

	def get(self):
		self.write(str(os.getpid()))
		time.sleep(10)


if __name__ == "__main__":
	app = tornado.web.Application(([r'/', LongHandler], ))
	sockets = tornado.netutil.bind_sockets(8090)
	tornado.process.fork_processes(2)
	server = tornado.httpserver.HTTPServer(app)
	server.add_sockets(sockets)
	tornado.ioloop.IOLoop.instance().start()

上面代码使用 tornado.process.fork_processes 创建了2个子进程, 同时用时访问这个 服务两次, 分别会返回两个相邻的pid. 可以看到 tornado 确实使用了两个进程来同时完成任务.

我一直很好奇 tornado 是如何将请求调度到子进程, 多个子进程又如何不同时处理一个请求呢?

探究

我们首先是调用 tornado.netutil.bind_sockets 来创建一个 socket(或一个 socket 列表),

接着我们调用 tornado.process.fork_processes 来 fork 子进程, 阅读此函数的代码会发现这个函数仅仅是创建子进程, 然后主进程负责等待子进程, 如果子进 程退出则会根据条件重启子进程, 如果子进程全部退出并不符合重启条件,则主进程退出.

调用这个函数之后, 子进程中函数会返回, 子进程则继续执行调用这个函数之后的代码.

我们在 fork 子进程后做了如下操作.

server = tornado.httpserver.HTTPServer(app)
  server.add_sockets(sockets)
  tornado.ioloop.IOLoop.instance().start()

我们先看看 tornado.httpserver.HTTPServer.add_sockets 发现 HTTPServer是继承的 tornado.netutil.TCPServer , add_sockets 也是实现在 TCPServer 中

tornado.netutil.TCPServer.add_sockets

def add_sockets(self, sockets):
		if self.io_loop is None:
			self.io_loop = IOLoop.instance()

		for sock in sockets:
			self._sockets[sock.fileno()] = sock
			add_accept_handler(sock, self._handle_connection,
							  io_loop=self.io_loop)

主要是映射了下 socket 和 socket 对应的文件描述符, 我们看看它调用的 add_accept_handler

def add_accept_handler(sock, callback, io_loop=None):
	if io_loop is None:
		io_loop = IOLoop.instance()

	def accept_handler(fd, events):
		while True:
			try:
				connection, address = sock.accept()
			except socket.error as e:
				if e.args[0] in (errno.EWOULDBLOCK, errno.EAGAIN):
					return
				raise
			callback(connection, address)
	io_loop.add_handler(sock.fileno(), accept_handler, IOLoop.READ)

我们知道 I/O多路复用 在处理服务端 socket 时, 当有连接请求过来时, 会触发 可读的事件, 此函数将 socket 在主事件循环中注册读事件(IOLoop.READ), 它的回调 会创建连接, 我注意到回调里的异常捕获有这样几行

if e.args[0] in (errno.EWOULDBLOCK, errno.EAGAIN):
          return
        raise

发现在创建连接的时候会跳过这个异常呢, 为什么?那么 EWOULDBLOCK 和 EAGAIN是是什么呢? 通过查找知道它的意思是在非阻塞模式下, 不需要重读或重写, EAGAIN 是 EWOULDBLOCK 在 Windows 上的名字, 所以看到这里就很明确了.

结论

Tornado 多进程的处理流程是先创建 socket, 然后再 fork 子进程, 这样所有的子进程实际都监听 一个(或多个)文件描述符, 也就是都在监听同样的 socket.

当连接过来所有的子进程都会收到可读事件, 这时候所有的子进程都会跳到 accept_handler 回调函数, 尝试建立连接.

一旦其中一个子进程成功的建立了连接, 当其他子进程再尝试建立这个连接的时候就会触发 EWOULDBLOCK (或 EAGAIN) 错误. 这时候回调函数判断是这个错误则返回函数不做处理.

当成功建立连接的子进程还在处理这个连接的时候又过来一个连接, 这时候就会有另外一个 子进程接手这个连接.

Tornado 就是通过这样一种机制, 利用多进程提升效率, 由于连接只能由一个子进程成功创建, 同一个请求也就不会被多个子进程处理.

后记

写完才发现, 我所使用的代码是 tornado-2.4.post2 版本, 当前最新代码是 3.3.0, 查看了下最新代码, 最新代码 TCPServer 写到单独 tornado.tcpserver 里了, 其他和本文 相关的并没有什么大的变化.

Category:PythonTagged:Pythonfork_processestornado多进程web提升效率

以上就是本文关于Tornado 多进程实现分析详解的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
python自动安装pip
Apr 24 Python
Python3如何解决字符编码问题详解
Apr 23 Python
python编程实现随机生成多个椭圆实例代码
Jan 03 Python
Jupyter安装nbextensions,启动提示没有nbextensions库
Apr 23 Python
Python可变参数*args和**kwargs用法实例小结
Apr 27 Python
PyCharm安装第三方库如Requests的图文教程
May 18 Python
Atom的python插件和常用插件说明
Jul 08 Python
python读写csv文件方法详细总结
Jul 05 Python
pandas中遍历dataframe的每一个元素的实现
Oct 23 Python
python判断无向图环是否存在的示例
Nov 22 Python
Python GUI编程学习笔记之tkinter界面布局显示详解
Mar 30 Python
python如何实现word批量转HTML
Sep 30 Python
快速了解Python相对导入
Jan 12 #Python
Python实现翻转数组功能示例
Jan 12 #Python
Python实现求数列和的方法示例
Jan 12 #Python
python+matplotlib演示电偶极子实例代码
Jan 12 #Python
Python实现读取及写入csv文件的方法示例
Jan 12 #Python
python+matplotlib绘制旋转椭圆实例代码
Jan 12 #Python
使用C++扩展Python的功能详解
Jan 12 #Python
You might like
攻克CakePHP系列一 连接MySQL数据库
2008/10/22 PHP
fleaphp crud操作之findByField函数的使用方法
2011/04/23 PHP
PHP编辑器PhpStrom运行缓慢问题
2017/02/21 PHP
php输出控制函数和输出函数生成静态页面
2019/06/27 PHP
在JavaScript中实现命名空间
2006/11/23 Javascript
js+css使DIV始终居于屏幕中间 左下 左上 右上 右下的代码集合
2011/03/10 Javascript
JQuery.ajax传递中文参数的解决方法 推荐
2011/03/28 Javascript
js通过googleAIP翻译PHP系统的语言配置的实现代码
2011/10/17 Javascript
js选取多个或单个元素的实现代码(用class)
2012/08/22 Javascript
JS动态获取当前时间,并写到特定的区域
2013/05/03 Javascript
instanceof和typeof运算符的区别详解
2014/01/06 Javascript
基于NodeJS的前后端分离的思考与实践(一)全栈式开发
2014/09/26 NodeJs
javascript轮播图算法
2016/10/21 Javascript
微信小程序 定位到当前城市实现实例代码
2017/02/23 Javascript
JS ES6多行字符串与连接字符串的表示方法
2017/04/26 Javascript
AngularJS 打开新的标签页实现代码
2017/09/07 Javascript
BootStrap数据表格实例代码
2017/09/13 Javascript
JS中的算法与数据结构之集合(Set)实例详解
2019/08/20 Javascript
js实现时分秒倒计时
2019/12/03 Javascript
d3.js实现图形拖拽
2019/12/19 Javascript
[01:09]DOTA2次级职业联赛 - 99战队宣传片
2014/12/01 DOTA
[58:11]守擂赛第二周擂主赛 DeMonsTer vs Leopard
2020/04/28 DOTA
Python isinstance判断对象类型
2008/09/06 Python
Python设计模式之代理模式实例
2014/04/26 Python
python创建线程示例
2014/05/06 Python
使用Python实现下载网易云音乐的高清MV
2015/03/16 Python
python 字符串格式化的示例
2020/09/21 Python
移动端html5 meta标签的神奇功效
2016/01/06 HTML / CSS
详解基于canvas的视频遮罩插件
2018/01/04 HTML / CSS
Etam艾格英国官网:法国著名女装品牌
2019/04/15 全球购物
伊莱克斯阿根廷网上商店:Tienda Electrolux
2021/03/08 全球购物
什么是表空间(tablespace)和系统表空间(System tablespace)
2013/02/25 面试题
客服部班长工作责任制
2014/02/25 职场文书
个人工作能力自我评价
2015/03/05 职场文书
退休欢送会主持词
2015/07/01 职场文书
忆童年!用Python实现愤怒的小鸟游戏
2021/06/07 Python