Tornado实现多进程/多线程的HTTP服务详解


Posted in Python onJuly 25, 2019

用tornado web服务的基本流程

1.实现处理请求的Handler,该类继承自tornado.web.RequestHandler,实现用于处理请求的对应方法如:get、post等。返回内容用self.write方法输出。

2.实例化一个Application。构造函数的参数是一个Handlers列表,通过正则表达式,将请求与Handler对应起来。通过dict将Handler需要的其他对象以参数的方式传递给Handler的initialize方法。

3.初始化一个tornado.httpserver.HTTPServer对象,构造函数的参数是上一步的Application对象。

4.为HTTPServer对象绑定一个端口。

5.开始IOLoop。

需要用到的特性

由于tornado的亮点是异步请求,所以这里首先想到的是将所有请求都改造为异步的。但是这里遇到一个问题,就是异步函数内一定不能有阻塞调用出现,否则整个IOLoop都会被卡住。这就要求彻底地去改造服务,将所有IO或是用时较长的请求都改造为异步函数。这个工程量是非常大的,需要去修改已有的代码。因此,我们考虑用线程池的方式去实现。当一个线程阻塞在某个请求或IO时,其他线程或IOLoop会继续执行。

另外一个瓶颈就是GIL限制了CPU的并发数量,因此考虑用子进程的方式增加进程数,提高服务能力上限。

综合上面的分析,大致用以下方案:

  • 通过子进程的方式复制多个进程,使子进程中的只读页指向同一个物理页。
  • 线程池。回避异步改造的工作量,增加IO的并发量。

测试代码

首先测试线程池,测试用例为:

对sleep页面同时发出两个请求:

  • 在线程池中运行的函数(这里是self.block_task)能够同时执行。表现为在控制台交替打印出数字。
  • 两个get请求几乎同时返回,在浏览器上显示返回的内容。

线程池的测试代码如下:

import os
import sys
import time
 
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.gen
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
from tornado.options import define, options
 
class HasBlockTaskHandler(tornado.web.RequestHandler):
  executor = ThreadPoolExecutor(20)  #起线程池,由当前RequestHandler持有
   
  @tornado.gen.coroutine
  def get(self):
    strTime = time.strftime("%Y-%m-%d %H:%M:%S")
    print "in get before block_task %s" % strTime
    result = yield self.block_task(strTime)
    print "in get after block_task"
    self.write("%s" % (result))
 
  @run_on_executor
  def block_task(self, strTime):
    print "in block_task %s" % strTime
    for i in range(1, 16):
      time.sleep(1)
      print "step %d : %s" % (i, strTime)
    return "Finish %s" % strTime
 
if __name__ == "__main__":
  tornado.options.parse_command_line()
  app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
  http_server = tornado.httpserver.HTTPServer(app)
  http_server.bind(8888)
  tornado.ioloop.IOLoop.instance().start()

整个代码里有几个位置值得关注:

1.executor = ThreadPoolExecutor(20)。这是给Handler类初始化了一个线程池。其中concurrent.futures不属于tornado,是python的一个独立模块,在python3中是内置模块,python2.7需要自己安装。

2.修饰符@run_on_executor。这个修饰符将同步函数改造为在executor(这里是线程池)上运行的异步函数,内部实现是将被修饰的函数submit到executor,返回一个Future对象。

3.修饰符@tornado.gen.coroutine。被这个修饰符修饰的函数,是一个以同步函数方式编写的异步函数。原本通过callback方式编写的异步代码,有了这个修饰符,可以通过yield一个Future的方式来写。被修饰的函数在yield了一个Future对象后将会被挂起,Future对象的结果返回后继续执行。

运行代码后,在两个不同浏览器上访问sleep页面,得到了想要的效果。这里有一个小插曲,就是如果在同一浏览器的两个tab上进行测试,是无法看到想要的效果。第二个get请求会被block,直到第一个get请求返回,服务端才开始处理第二个get请求。这让我一度觉得多线程没有生效,用了半天时间查了很多资料,才看到是浏览器把相同的第二个请求block了,具体链接参考这里。

由于tornado很方便地支持多进程模型,多进程的使用要简单很多,在以上例子中,只需要对启动部分稍作改动即可。具体代码如下所示:

if __name__ == "__main__":
  tornado.options.parse_command_line()
  app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
  http_server = tornado.httpserver.HTTPServer(app)
  http_server.bind(8888)
  print tornado.ioloop.IOLoop.initialized()
  http_server.start(5)
  tornado.ioloop.IOLoop.instance().start()

需要注意的地方有两点:

1.app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False),在生成Application对象时,要将autoreload和debug两个参数至为False。也就是需要保证在fork子进程之前IOLoop是未被初始化的。这个可以通过tornado.ioloop.IOLoop.initialized()函数来跟。

2.http_server.start(5)在启动IOLoop之前通过start函数设置进程数量,如果设置为0表示每个CPU都启动一个进程。
最后的效果是可以看到n+1个进程在运行,且公用同一个端口。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python多层嵌套list的递归处理方法(推荐)
Jun 08 Python
Python的Django框架中forms表单类的使用方法详解
Jun 21 Python
Python中实例化class的执行顺序示例详解
Oct 14 Python
Python3中的最大整数和最大浮点数实例
Jul 09 Python
Pandas中DataFrame的分组/分割/合并的实现
Jul 16 Python
python同时替换多个字符串方法示例
Sep 17 Python
基于python的列表list和集合set操作
Nov 24 Python
Windows系统下pycharm中的pip换源
Feb 23 Python
详解Python中pyautogui库的最全使用方法
Apr 01 Python
python 如何利用argparse解析命令行参数
Sep 11 Python
Python的logging模块基本用法
Dec 24 Python
详解Python函数print用法
Jun 18 Python
Python使用指定端口进行http请求的例子
Jul 25 #Python
django多对多表的创建,级联删除及手动创建第三张表
Jul 25 #Python
django 中QuerySet特性功能详解
Jul 25 #Python
对Python _取log的几种方式小结
Jul 25 #Python
django 中的聚合函数,分组函数,F 查询,Q查询
Jul 25 #Python
python使用paramiko模块通过ssh2协议对交换机进行配置的方法
Jul 25 #Python
python2 中 unicode 和 str 之间的转换及与python3 str 的区别
Jul 25 #Python
You might like
轻松修复Discuz!数据库
2008/05/03 PHP
php提高网站效率的技巧
2015/09/29 PHP
Symfony2学习笔记之控制器用法详解
2016/03/17 PHP
CodeIgniter集成smarty的方法详解
2016/05/26 PHP
thinkphp整合微信支付代码分享
2016/11/24 PHP
PHP全功能无变形图片裁剪操作类与用法示例
2017/01/10 PHP
window.requestAnimationFrame是什么意思,怎么用
2013/01/13 Javascript
使用typeof判断function是否存在于上下文
2014/08/14 Javascript
IE6 hack for js 集锦
2014/09/23 Javascript
JavaScript中实现继承的三种方式和实例
2015/01/29 Javascript
jQuery找出网页上最高元素的方法
2015/03/20 Javascript
javascript制作游戏开发碰撞检测的封装代码
2015/03/31 Javascript
js+html5实现canvas绘制简单矩形的方法
2015/06/05 Javascript
深入分析jsonp协议原理
2015/09/26 Javascript
js流动式效果显示当前系统时间
2016/05/16 Javascript
JS获取当前使用的浏览器名字以及版本号实现方法
2016/08/19 Javascript
AngularJS实现使用路由切换视图的方法
2017/01/24 Javascript
原生js实现吸顶效果
2017/03/13 Javascript
JavaScript脚本语言是什么_动力节点Java学院整理
2017/06/26 Javascript
jQuery实现的简单动态添加、删除表格功能示例
2017/09/21 jQuery
nodeJs实现基于连接池连接mysql的方法示例
2018/02/10 NodeJs
微信小程序之批量上传并压缩图片的实例代码
2018/07/05 Javascript
浅析JavaScript异步代码优化
2019/03/18 Javascript
Vue v-model组件封装(类似弹窗组件)
2020/01/08 Javascript
python中pycurl库的用法实例
2014/09/30 Python
深入理解Python中的super()方法
2017/11/20 Python
详解python3安装pillow后报错没有pillow模块以及没有PIL模块问题解决
2019/04/17 Python
Python如何在单元测试中给对象打补丁
2020/08/03 Python
俄语翻译实习生的自我评价分享
2013/11/06 职场文书
医学生自荐信范文
2013/12/03 职场文书
经理任命书模板
2014/06/06 职场文书
防灾减灾活动总结
2014/08/30 职场文书
学生旷课检讨书500字
2014/10/28 职场文书
婚礼新人答谢词
2015/01/04 职场文书
奖励申请报告范文
2015/05/15 职场文书
python的变量和简单数字类型详解
2021/09/15 Python