Tornado实现多进程/多线程的HTTP服务详解


Posted in Python onJuly 25, 2019

用tornado web服务的基本流程

1.实现处理请求的Handler,该类继承自tornado.web.RequestHandler,实现用于处理请求的对应方法如:get、post等。返回内容用self.write方法输出。

2.实例化一个Application。构造函数的参数是一个Handlers列表,通过正则表达式,将请求与Handler对应起来。通过dict将Handler需要的其他对象以参数的方式传递给Handler的initialize方法。

3.初始化一个tornado.httpserver.HTTPServer对象,构造函数的参数是上一步的Application对象。

4.为HTTPServer对象绑定一个端口。

5.开始IOLoop。

需要用到的特性

由于tornado的亮点是异步请求,所以这里首先想到的是将所有请求都改造为异步的。但是这里遇到一个问题,就是异步函数内一定不能有阻塞调用出现,否则整个IOLoop都会被卡住。这就要求彻底地去改造服务,将所有IO或是用时较长的请求都改造为异步函数。这个工程量是非常大的,需要去修改已有的代码。因此,我们考虑用线程池的方式去实现。当一个线程阻塞在某个请求或IO时,其他线程或IOLoop会继续执行。

另外一个瓶颈就是GIL限制了CPU的并发数量,因此考虑用子进程的方式增加进程数,提高服务能力上限。

综合上面的分析,大致用以下方案:

  • 通过子进程的方式复制多个进程,使子进程中的只读页指向同一个物理页。
  • 线程池。回避异步改造的工作量,增加IO的并发量。

测试代码

首先测试线程池,测试用例为:

对sleep页面同时发出两个请求:

  • 在线程池中运行的函数(这里是self.block_task)能够同时执行。表现为在控制台交替打印出数字。
  • 两个get请求几乎同时返回,在浏览器上显示返回的内容。

线程池的测试代码如下:

import os
import sys
import time
 
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import tornado.gen
from tornado.concurrent import run_on_executor
from concurrent.futures import ThreadPoolExecutor
from tornado.options import define, options
 
class HasBlockTaskHandler(tornado.web.RequestHandler):
  executor = ThreadPoolExecutor(20)  #起线程池,由当前RequestHandler持有
   
  @tornado.gen.coroutine
  def get(self):
    strTime = time.strftime("%Y-%m-%d %H:%M:%S")
    print "in get before block_task %s" % strTime
    result = yield self.block_task(strTime)
    print "in get after block_task"
    self.write("%s" % (result))
 
  @run_on_executor
  def block_task(self, strTime):
    print "in block_task %s" % strTime
    for i in range(1, 16):
      time.sleep(1)
      print "step %d : %s" % (i, strTime)
    return "Finish %s" % strTime
 
if __name__ == "__main__":
  tornado.options.parse_command_line()
  app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
  http_server = tornado.httpserver.HTTPServer(app)
  http_server.bind(8888)
  tornado.ioloop.IOLoop.instance().start()

整个代码里有几个位置值得关注:

1.executor = ThreadPoolExecutor(20)。这是给Handler类初始化了一个线程池。其中concurrent.futures不属于tornado,是python的一个独立模块,在python3中是内置模块,python2.7需要自己安装。

2.修饰符@run_on_executor。这个修饰符将同步函数改造为在executor(这里是线程池)上运行的异步函数,内部实现是将被修饰的函数submit到executor,返回一个Future对象。

3.修饰符@tornado.gen.coroutine。被这个修饰符修饰的函数,是一个以同步函数方式编写的异步函数。原本通过callback方式编写的异步代码,有了这个修饰符,可以通过yield一个Future的方式来写。被修饰的函数在yield了一个Future对象后将会被挂起,Future对象的结果返回后继续执行。

运行代码后,在两个不同浏览器上访问sleep页面,得到了想要的效果。这里有一个小插曲,就是如果在同一浏览器的两个tab上进行测试,是无法看到想要的效果。第二个get请求会被block,直到第一个get请求返回,服务端才开始处理第二个get请求。这让我一度觉得多线程没有生效,用了半天时间查了很多资料,才看到是浏览器把相同的第二个请求block了,具体链接参考这里。

由于tornado很方便地支持多进程模型,多进程的使用要简单很多,在以上例子中,只需要对启动部分稍作改动即可。具体代码如下所示:

if __name__ == "__main__":
  tornado.options.parse_command_line()
  app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False)
  http_server = tornado.httpserver.HTTPServer(app)
  http_server.bind(8888)
  print tornado.ioloop.IOLoop.initialized()
  http_server.start(5)
  tornado.ioloop.IOLoop.instance().start()

需要注意的地方有两点:

1.app = tornado.web.Application(handlers=[(r"/sleep", HasBlockTaskHandler)], autoreload=False, debug=False),在生成Application对象时,要将autoreload和debug两个参数至为False。也就是需要保证在fork子进程之前IOLoop是未被初始化的。这个可以通过tornado.ioloop.IOLoop.initialized()函数来跟。

2.http_server.start(5)在启动IOLoop之前通过start函数设置进程数量,如果设置为0表示每个CPU都启动一个进程。
最后的效果是可以看到n+1个进程在运行,且公用同一个端口。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现异步回调机制代码分享
Jan 10 Python
跟老齐学Python之网站的结构
Oct 24 Python
python+tkinter编写电脑桌面放大镜程序实例代码
Jan 16 Python
python pandas.DataFrame选取、修改数据最好用.loc,.iloc,.ix实现
Jun 11 Python
解决使用PyCharm时无法启动控制台的问题
Jan 19 Python
简单了解python 邮件模块的使用方法
Jul 24 Python
Python中正反斜杠(‘/’和‘\’)的意义与用法
Aug 12 Python
简单了解django文件下载方式
Feb 10 Python
Python基础之字符串常见操作经典实例详解
Feb 26 Python
Python如何省略括号方法详解
Mar 21 Python
Flask搭建一个API服务器的步骤
May 28 Python
Python函数式编程中itertools模块详解
Sep 15 Python
Python使用指定端口进行http请求的例子
Jul 25 #Python
django多对多表的创建,级联删除及手动创建第三张表
Jul 25 #Python
django 中QuerySet特性功能详解
Jul 25 #Python
对Python _取log的几种方式小结
Jul 25 #Python
django 中的聚合函数,分组函数,F 查询,Q查询
Jul 25 #Python
python使用paramiko模块通过ssh2协议对交换机进行配置的方法
Jul 25 #Python
python2 中 unicode 和 str 之间的转换及与python3 str 的区别
Jul 25 #Python
You might like
JS中动态添加事件(绑定事件)的代码
2011/01/09 Javascript
js 创建书签小工具之理论
2011/02/25 Javascript
jquery获取URL中参数解决中文乱码问题的两种方法
2013/12/18 Javascript
javascript版的in_array函数(判断数组中是否存在特定值)
2014/05/09 Javascript
js中的getAttribute方法使用示例
2014/08/01 Javascript
探讨JavaScript标签位置的存放与功能有无关系
2016/01/15 Javascript
分享自己用JS做的扫雷小游戏
2016/02/17 Javascript
Angular.js与Bootstrap相结合实现表格分页代码
2016/04/12 Javascript
搞定immutable.js详细说明
2016/05/02 Javascript
JS 事件绑定、事件监听、事件委托详细介绍
2016/09/28 Javascript
原生JS实现日历组件的示例代码
2017/09/22 Javascript
jQuery实现常见的隐藏与展示列表效果示例
2018/06/04 jQuery
Vue-Router基础学习笔记(小结)
2018/10/15 Javascript
javascript中的with语句学习笔记及用法
2020/02/17 Javascript
Python 中的 else详解
2016/04/23 Python
python实现SOM算法
2018/02/23 Python
python中使用while循环的实例
2019/08/05 Python
Python 图像对比度增强的几种方法(小结)
2019/09/25 Python
15行Python代码实现免费发送手机短信推送消息功能
2020/02/27 Python
北美大型运动类产品商城:Champs Sports
2017/01/12 全球购物
法国在线药房:DoctiPharma
2020/10/21 全球购物
意大利顶级奢侈品电商:LUISAVIAROMA(支持中文)
2020/05/26 全球购物
计算机应用专业毕业生求职信
2013/10/24 职场文书
后勤部长岗位职责
2013/12/14 职场文书
住房公积金接收函
2014/01/09 职场文书
大学生蛋糕店创业计划书
2014/01/13 职场文书
小班开学寄语
2014/04/04 职场文书
父母寄语大全
2014/04/12 职场文书
在校大学生自我评价范文
2014/09/12 职场文书
2014年宣传部个人工作总结
2014/12/06 职场文书
自主招生自荐信范文
2015/03/04 职场文书
专家推荐信范文
2015/03/26 职场文书
2015年财政所工作总结
2015/04/25 职场文书
2016公务员年度考核评语
2015/12/01 职场文书
《金钱的魔力》教学反思
2016/02/20 职场文书
高一英语教学反思
2016/03/03 职场文书