Tornado实现多进程/多线程的HTTP服务详解


Posted in Python onJuly 25, 2019

用tornado web服务的基本流程

1.实现处理请求的Handler,该类继承自tornado.web.RequestHandler,实现用于处理请求的对应方法如:get、post等。返回内容用self.write方法输出。

2.实例化一个Application。构造函数的参数是一个Handlers列表,通过正则表达式,将请求与Handler对应起来。通过dict将Handler需要的其他对象以参数的方式传递给Handler的initialize方法。

3.初始化一个tornado.httpserver.HTTPServer对象,构造函数的参数是上一步的Application对象。

4.为HTTPServer对象绑定一个端口。

5.开始IOLoop。

需要用到的特性

由于tornado的亮点是异步请求,所以这里首先想到的是将所有请求都改造为异步的。但是这里遇到一个问题,就是异步函数内一定不能有阻塞调用出现,否则整个IOLoop都会被卡住。这就要求彻底地去改造服务,将所有IO或是用时较长的请求都改造为异步函数。这个工程量是非常大的,需要去修改已有的代码。因此,我们考虑用线程池的方式去实现。当一个线程阻塞在某个请求或IO时,其他线程或IOLoop会继续执行。

另外一个瓶颈就是GIL限制了CPU的并发数量,因此考虑用子进程的方式增加进程数,提高服务能力上限。

综合上面的分析,大致用以下方案:

  • 通过子进程的方式复制多个进程,使子进程中的只读页指向同一个物理页。
  • 线程池。回避异步改造的工作量,增加IO的并发量。

测试代码

首先测试线程池,测试用例为:

对sleep页面同时发出两个请求:

  • 在线程池中运行的函数(这里是self.block_task)能够同时执行。表现为在控制台交替打印出数字。
  • 两个get请求几乎同时返回,在浏览器上显示返回的内容。

线程池的测试代码如下:

import os
import sys
import time
 
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.gen
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
from tornado.options import define, options
 
class HasBlockTaskHandler(tornado.web.RequestHandler):
  executor = ThreadPoolExecutor(20)  #起线程池,由当前RequestHandler持有
   
  @tornado.gen.coroutine
  def get(self):
    strTime = time.strftime("%Y-%m-%d %H:%M:%S")
    print "in get before block_task %s" % strTime
    result = yield self.block_task(strTime)
    print "in get after block_task"
    self.write("%s" % (result))
 
  @run_on_executor
  def block_task(self, strTime):
    print "in block_task %s" % strTime
    for i in range(1, 16):
      time.sleep(1)
      print "step %d : %s" % (i, strTime)
    return "Finish %s" % strTime
 
if __name__ == "__main__":
  tornado.options.parse_command_line()
  app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
  http_server = tornado.httpserver.HTTPServer(app)
  http_server.bind(8888)
  tornado.ioloop.IOLoop.instance().start()

整个代码里有几个位置值得关注:

1.executor = ThreadPoolExecutor(20)。这是给Handler类初始化了一个线程池。其中concurrent.futures不属于tornado,是python的一个独立模块,在python3中是内置模块,python2.7需要自己安装。

2.修饰符@run_on_executor。这个修饰符将同步函数改造为在executor(这里是线程池)上运行的异步函数,内部实现是将被修饰的函数submit到executor,返回一个Future对象。

3.修饰符@tornado.gen.coroutine。被这个修饰符修饰的函数,是一个以同步函数方式编写的异步函数。原本通过callback方式编写的异步代码,有了这个修饰符,可以通过yield一个Future的方式来写。被修饰的函数在yield了一个Future对象后将会被挂起,Future对象的结果返回后继续执行。

运行代码后,在两个不同浏览器上访问sleep页面,得到了想要的效果。这里有一个小插曲,就是如果在同一浏览器的两个tab上进行测试,是无法看到想要的效果。第二个get请求会被block,直到第一个get请求返回,服务端才开始处理第二个get请求。这让我一度觉得多线程没有生效,用了半天时间查了很多资料,才看到是浏览器把相同的第二个请求block了,具体链接参考这里。

由于tornado很方便地支持多进程模型,多进程的使用要简单很多,在以上例子中,只需要对启动部分稍作改动即可。具体代码如下所示:

if __name__ == "__main__":
  tornado.options.parse_command_line()
  app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
  http_server = tornado.httpserver.HTTPServer(app)
  http_server.bind(8888)
  print tornado.ioloop.IOLoop.initialized()
  http_server.start(5)
  tornado.ioloop.IOLoop.instance().start()

需要注意的地方有两点:

1.app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False),在生成Application对象时,要将autoreload和debug两个参数至为False。也就是需要保证在fork子进程之前IOLoop是未被初始化的。这个可以通过tornado.ioloop.IOLoop.initialized()函数来跟。

2.http_server.start(5)在启动IOLoop之前通过start函数设置进程数量,如果设置为0表示每个CPU都启动一个进程。
最后的效果是可以看到n+1个进程在运行,且公用同一个端口。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python检测远程端口是否打开的方法
Mar 14 Python
用Python实现一个简单的线程池
Apr 07 Python
pymssql数据库操作MSSQL2005实例分析
May 25 Python
python 截取 取出一部分的字符串方法
Mar 01 Python
Python实现将doc转化pdf格式文档的方法
Jan 19 Python
python实现日常记账本小程序
Mar 10 Python
PyTorch读取Cifar数据集并显示图片的实例讲解
Jul 27 Python
浅谈Python采集网页时正则表达式匹配换行符的问题
Dec 20 Python
Python定时任务工具之APScheduler使用方式
Jul 24 Python
python cv2在验证码识别中应用实例解析
Dec 25 Python
Django后台管理系统的图文使用教学
Jan 20 Python
python中的列表和元组区别分析
Dec 30 Python
Python使用指定端口进行http请求的例子
Jul 25 #Python
django多对多表的创建,级联删除及手动创建第三张表
Jul 25 #Python
django 中QuerySet特性功能详解
Jul 25 #Python
对Python _取log的几种方式小结
Jul 25 #Python
django 中的聚合函数,分组函数,F 查询,Q查询
Jul 25 #Python
python使用paramiko模块通过ssh2协议对交换机进行配置的方法
Jul 25 #Python
python2 中 unicode 和 str 之间的转换及与python3 str 的区别
Jul 25 #Python
You might like
用php+mysql一个名片库程序
2006/10/09 PHP
Discuz Uchome ajaxpost小技巧
2011/01/04 PHP
ThinkPHP后台首页index使用frameset时的注意事项分析
2014/08/22 PHP
分享十款最出色的PHP安全开发库中文详细介绍
2015/03/22 PHP
php微信开发之批量生成带参数的二维码
2016/06/26 PHP
PHP查询分页的实现代码
2017/06/09 PHP
用 Javascript 验证表单(form)中的单选(radio)值
2009/09/08 Javascript
7个Javascript地图脚本整理
2009/10/20 Javascript
Javascript 面向对象 重载
2010/05/13 Javascript
jQuery中live方法的重复绑定说明
2011/10/21 Javascript
javascript提取URL的搜索字符串中的参数(自定义函数实现)
2013/01/22 Javascript
jQuery简易图片放大特效示例代码
2014/06/09 Javascript
jQuery中:text选择器用法实例
2015/01/03 Javascript
jquery插件unobtrusive实现片段式加载
2015/06/15 Javascript
JS控制表单提交的方法
2015/07/09 Javascript
jQuery Validate插件实现表单强大的验证功能
2015/12/18 Javascript
JS基于onclick事件实现单个按钮的编辑与保存功能示例
2017/02/13 Javascript
详解vue2路由vue-router配置(懒加载)
2017/04/08 Javascript
基于JavaScript实现评论框展开和隐藏功能
2017/08/25 Javascript
解决vue的变量在settimeout内部效果失效的问题
2018/08/30 Javascript
vue.js+element-ui动态配置菜单的实例
2018/09/07 Javascript
[06:14]《辉夜杯》外卡赛附加赛 4支战队巡礼
2015/10/23 DOTA
python采用django框架实现支付宝即时到帐接口
2016/05/17 Python
如何在Django中设置定时任务的方法示例
2019/01/18 Python
详解Python给照片换底色(蓝底换红底)
2019/03/22 Python
python简单鼠标自动点击某区域的实例
2019/06/25 Python
python批量将excel内容进行翻译写入功能
2019/10/10 Python
详解CSS3阴影 box-shadow的使用和技巧总结
2016/12/03 HTML / CSS
使用HTML5捕捉音频与视频信息概述及实例
2018/08/22 HTML / CSS
波兰运动鞋网上商店:e-Sporting
2018/02/16 全球购物
面向对象概念面试题(.NET)
2016/11/04 面试题
交通事故委托书范本
2014/09/28 职场文书
公司租房协议书
2014/10/14 职场文书
个性发展自我评价2015
2015/03/09 职场文书
小学开学典礼新闻稿
2015/07/17 职场文书
爱国主义主题班会
2015/08/14 职场文书