Python Web框架Tornado运行和部署


Posted in Python onOctober 19, 2020

本文实例为大家分享了Python Web框架Tornado运行和部署的详细内容,供大家参考,具体内容如下

一、运行和部署

因为Tornado内置了自己的HTTPServer,运行和部署它与其他Python web框架不太一样。你需要写一个main()函数来启动服务,而不是配置一个WSGI容器来运行你的应用:

def main():
 app = make_app()
 app.listen(8888)
 IOLoop.current().start()

if __name__ == '__main__':
 main()

配置你的操作系统或者进程管理器来运行这个程序以启动服务。注意,增加每个进程允许打开的最大文件句柄数是可能是必要的(为了避免“Too many open files” 的错误)。为了增加这个上限(例如设置为50000 ) 你可以使用ulimit命令,修改/etc/security/limits.conf 或者设置minfds 在你的supervisord配置中。

二、进程和端口

由于Python的GIL(全局解释器锁),为了充分利用多CPU的机器,运行多个Python 进程是很有必要的。通常,最好是每个CPU运行一个进程。

Tornado包含了一个内置的多进程模式来一次启动多个进程,这需要一个在main 函数上做点微小的改变:

def main():
 app = make_app()
 server = tornado.httpserver.HTTPServer(app)
 server.bind(8888)
 server.start(0) # forks one process per cpu
 IOLoop.current().start()

这是最简单的方式来启动多进程并让他们共享同样的端口,虽然它有一些局限性。首先,每个子进程将有它自己的IOLoop,所以fork之前,不接触全局 IOLoop 实例是重要的(甚至是间接的)。其次,在这个模型中,很难做到零停机 (zero-downtime)更新。最后,因为所有的进程共享相同的端口,想单独监控它们就更加困难了。

对更复杂的部署,建议启动独立的进程,并让它们各自监听不同的端口, supervisord 的“进程组(process groups)”功能是一个很好的方式。当每个进程使用不同的端口,一个外部的负载均衡器,例如HAProxy或nginx通常需要对外向访客提供一个单一的地址。

三、运行在负载均衡器后面

当运行在一个负载均衡器例如nginx,建议传递xheaders=True 给 HTTPServer 的构造器。这将告诉Tornado使用类似 X-Real-IP 这样的HTTP头来获取用户的IP地址而不是把所有流量都认为来自于负载均衡器的IP地址。

这是一份原始的nginx配置文件,在结构上类似于我们在FriendFeed所使用的配置。这是假设nginx和Tornado server运行在同一台机器上的,并且四个 Tornado server 正运行在8000 - 8003端口:

user nginx;
worker_processes 1;

error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;

events {
 worker_connections 1024;
 use epoll;
}

http {
 # Enumerate all the Tornado servers here
 upstream frontends {
  server 127.0.0.1:8000;
  server 127.0.0.1:8001;
  server 127.0.0.1:8002;
  server 127.0.0.1:8003;
 }

 include /etc/nginx/mime.types;
 default_type application/octet-stream;

 access_log /var/log/nginx/access.log;

 keepalive_timeout 65;
 proxy_read_timeout 200;
 sendfile on;
 tcp_nopush on;
 tcp_nodelay on;
 gzip on;
 gzip_min_length 1000;
 gzip_proxied any;
 gzip_types text/plain text/html text/css text/xml
    application/x-javascript application/xml
    application/atom+xml text/javascript;

 # Only retry if there was a communication error, not a timeout
 # on the Tornado server (to avoid propagating "queries of death"
 # to all frontends)
 proxy_next_upstream error;

 server {
  listen 80;

  # Allow file uploads
  client_max_body_size 50M;

  location ^~ /static/ {
   root /var/www;
   if ($query_string) {
    expires max;
   }
  }
  location = /favicon.ico {
   rewrite (.*) /static/favicon.ico;
  }
  location = /robots.txt {
   rewrite (.*) /static/robots.txt;
  }

  location / {
   proxy_pass_header Server;
   proxy_set_header Host $http_host;
   proxy_redirect off;
   proxy_set_header X-Real-IP $remote_addr;
   proxy_set_header X-Scheme $scheme;
   proxy_pass http://frontends;
  }
 }
}

四、静态文件和文件缓存

Tornado中,你可以通过在应用程序中指定特殊的 static_path 来提供静态文件服务:

settings = {
 "static_path": os.path.join(os.path.dirname(__file__), "static"),
 "cookie_secret": "__TODO:_GENERATE_YOUR_OWN_RANDOM_VALUE_HERE__",
 "login_url": "/login",
 "xsrf_cookies": True,
}
application = tornado.web.Application([
 (r"/", MainHandler),
 (r"/login", LoginHandler),
 (r"/(apple-touch-icon\.png)", tornado.web.StaticFileHandler,
  dict(path=settings['static_path'])),
], **settings)

这些设置将自动的把所有以 /static/ 开头的请求交由static目录,例如http://localhost:8888/static/foo.png 将会通过指定的static目录提供 foo.png 文件。我们也会自动从static目录提供 /robots.txt 和 /favicon.ico (尽管它们并没有以 /static/ 前缀开始)。

在上面的设置中,我们明确的配置Tornado从 StaticFileHandler 根下获取 apple-touch-icon.png 文件,虽然文件在static文件目录中。(正则表达式捕获组必须告诉 StaticFileHandler 请求的文件名,调用捕获组把文件名作为方法的参数传递给处理程序) 你可以做同样的事情,比如从网站的根提供 sitemap.xml 文件。 当然,你也可以通过在你的HTML中使用 <link /> 标签来避免伪造根目录的 apple-touch-icon.png 。

为了改善性能,通常情况下,让浏览器主动缓存静态资源是个好主意, 这样浏览器就不会发送不必要的可能在渲染页面时阻塞的 If-Modified-Since 或 Etag 请求了, Tornado使用 静态内容版本(static content versioning) 来支持此项功能。

为了使用这些功能,在你的模板中使用 static_url 方法,而不是直接在你的HTML中输入静态文件的URL:

<html>
 <head>
  <title>FriendFeed - {{ _("Home") }}</title>
 </head>
 <body>
  <div><img src="{{ static_url("images/logo.png") }}"/></div>
 </body>
</html>

static_url() 函数将把相对路径翻译成一个URI类似于 /static/images/logo.png?v=aae54.其中的 v 参数是 logo.png 内容的哈希(hash),并且它的存在使得Tornado服务向用户的浏览器发送缓存头,这将使浏览器无限期的缓存内容。

因为参数 v 是基于文件内容的,如果你更新一个文件并重启服务,它将发送一个新的 v 值,所以用户的浏览器将会自动的拉去新的文件。如果文件的内容没有改变,浏览器将会继续使用本地缓存的副本,而不会从服务器检查更新,显著的提高了渲染性能。

在生产中,你可能想提供静态文件通过一个更优的静态服务器, 比如nginx,你可以配置任何web服务器识别通过 static_url() 提供的版本标签并相应的设置缓存头。下面是我们在 FriendFeed 使用的nginx相关配置的一部分:

location /static/ {
 root /var/friendfeed/static;
 if ($query_string) {
  expires max;
 }
 }

五、Debug模式和自动重载

如果传递 debug=True 配置给 Application 的构造函数,应用程序将会运行在debug/开发模式。 在这个模式下,为了方便于开发的一些功能将被启用( 每一个也可以作为独立的标签使用,如果它们都被专门指定,那它们都将获得独立的优先级):

1、autoreload=True: 应用程序将会观察它的源文件是否改变,并且当任何文件改变的时候便重载它自己。这减少了在开发中需要手动重启服务的需求。然而,在debug模式下,某些错误(例如import的时候有语法错误)会导致服务 关闭,并且无法自动恢复。
2、compiled_template_cache=False: 模板将不会被缓存。
3、static_hash_cache=False: 静态文件哈希 (被 static_url 函数使用) 将不会被缓存。
4、serve_traceback=True: 当一个异常在 RequestHandler 中没有捕获,将会生成一个包含调用栈信息的错误页。
自动重载(autoreload)模式和 HTTPServer 的多进程模式不兼容,你不能给 HTTPServer.start 传递 1 以外的参数(或者调用 tornado.process.fork_processes) 当你使用自动重载模式的时候。

debug模式的自动重载功能可作为一个独立的模块位于 tornado.autoreload。以下两者可以结合使用,在语法错误之时提供额外的健壮性: 设置 autoreload=True 可以在app运行时检测文件修改,还有启动 python -m tornado.autoreload myserver.py 来捕获任意语法错误或者其他的启动时错误。

重载会丢失任何Python解释器命令行参数(-u). 因为它使用 sys.executable 和 sys.argv 重新执行Python。此外,修改这些变量将造成重载错误。

在一些平台(包括Windows 和Mac OSX 10.6之前),进程不能被“原地”更新,所以当检测到代码更新,旧服务就会退出然后启动一个新服务。这已经被公知来混淆一些IDE。

六、WSGI和Google App Engine

Tornado通常是独立运行的,不需要一个WSGI容器。然而,在一些环境中 (例如Google App Engine),只运行WSGI,应用程序不能独立运行自己的服务。在这种情况下,Tornado支持一个有限制的操作模式,不支持异步操作但允许一个Tornado's功能的子集在仅WSGI环境中。以下功能在WSGI模式下是不支持的,包括协程,@asynchronous 装饰器,AsyncHTTPClient,auth 模块和WebSockets。

你可以使用 tornado.wsgi.WSGIAdapter 把一个Tornado Application 转换成WSGI应用。在这个例子中, 配置你的WSGI容器发 现 application 对象:

import tornado.web
import tornado.wsgi

class MainHandler(tornado.web.RequestHandler):
 def get(self):
  self.write("Hello, world")

tornado_app = tornado.web.Application([
 (r"/", MainHandler),
])
application = tornado.wsgi.WSGIAdapter(tornado_app)

以上就是本文的全部内容,希望对大家的学习有所帮助。

Python 相关文章推荐
python中的hashlib和base64加密模块使用实例
Sep 02 Python
使用beaker让Facebook的Bottle框架支持session功能
Apr 23 Python
在Mac OS上部署Nginx和FastCGI以及Flask框架的教程
May 02 Python
Python爬虫包 BeautifulSoup  递归抓取实例详解
Jan 28 Python
Python基于回溯法子集树模板解决数字组合问题实例
Sep 02 Python
Python3.6连接Oracle数据库的方法详解
May 18 Python
使用Python快速搭建HTTP服务和文件共享服务的实例讲解
Jun 04 Python
Python基础之函数的定义与使用示例
Mar 23 Python
pytorch实现对输入超过三通道的数据进行训练
Jan 15 Python
Python日期格式和字符串格式相互转换的方法
Feb 18 Python
python中元组的用法整理
Jun 15 Python
Python基于Twilio及腾讯云实现国际国内短信接口
Jun 18 Python
Python爬虫爬验证码实现功能详解
Apr 14 #Python
Python实现简单登录验证
Apr 13 #Python
Python数组定义方法
Apr 13 #Python
Python基于select实现的socket服务器
Apr 13 #Python
Python简单实现子网掩码转换的方法
Apr 13 #Python
Python多进程分块读取超大文件的方法
Apr 13 #Python
Python字符串拼接、截取及替换方法总结分析
Apr 13 #Python
You might like
PHP下的Oracle客户端扩展(OCI8)安装教程
2014/09/10 PHP
用 Composer构建自己的 PHP 框架之使用 ORM
2014/10/30 PHP
php fread读取文件注意事项
2016/09/24 PHP
thinkPHP5.0框架整体架构总览【应用,模块,MVC,驱动,行为,命名空间等】
2017/03/25 PHP
laravel获取不到session的三种解决办法【推荐】
2018/09/16 PHP
PHP实现的敏感词过滤方法示例
2019/03/06 PHP
JQuery对表格进行操作的常用技巧总结
2014/04/23 Javascript
基于BootStrap Metronic开发框架经验小结【八】框架功能总体界面介绍
2016/05/12 Javascript
浅析Angular2子模块以及异步加载
2017/04/24 Javascript
jQuery遮罩层实例讲解
2017/05/11 jQuery
select标签设置默认选中的选项方法
2018/03/02 Javascript
详解用async/await来处理异步
2019/08/28 Javascript
一文读懂vue动态属性数据绑定(v-bind指令)
2020/07/20 Javascript
小程序自定义弹框效果
2020/11/16 Javascript
原生JavaScript实现幻灯片效果
2021/02/19 Javascript
Python中使用第三方库xlrd来写入Excel文件示例
2015/04/05 Python
深入理解Python单元测试unittest的使用示例
2017/11/18 Python
python中Apriori算法实现讲解
2017/12/10 Python
详解Python 协程的详细用法使用和例子
2018/06/15 Python
django解决跨域请求的问题详解
2019/01/20 Python
python中的数据结构比较
2019/05/13 Python
django rest framework vue 实现用户登录详解
2019/07/29 Python
python selenium爬取斗鱼所有直播房间信息过程详解
2019/08/09 Python
Python 图片处理库exifread详解
2021/02/25 Python
英国最受欢迎的手表网站:Watch Shop
2016/10/21 全球购物
法国最大的在线眼镜店:EasyLunettes
2019/08/26 全球购物
大学生学雷锋活动总结
2014/06/26 职场文书
大专应届毕业生求职信
2014/07/15 职场文书
4s店活动策划方案
2014/08/25 职场文书
韩语专业职业生涯规划范文:成功之路就在我们脚下
2014/09/11 职场文书
幼儿园中秋节活动总结
2015/03/23 职场文书
2016年企业先进员工事迹材料
2016/02/25 职场文书
什么是求职信?求职信应包含哪些内容?
2019/08/14 职场文书
古诗之感恩老师
2019/10/24 职场文书
python实现图片批量压缩
2021/04/24 Python
Vue实现下拉加载更多
2021/05/09 Vue.js