9种python web 程序的部署方式小结


Posted in Python onJune 30, 2014

主流的web server 一个巴掌就能数出来,apache,lighttpd,nginx,iis

application,中文名叫做应用服务,就是你基于某个web framework写的应用代码DB server 泛指存储服务,web开发中用mysql比较多,最近几年因为网站规模扩大,memcache,redis这种key-value等存储也流行开来
放在最前面的 web server 有3个功能

高效率处理静态文件 ,web server都是用c开发,调用是native的函数,对IO,文件传输都做针对性的优化

充当一个简易的网络防火墙 ,可以denny一些ip,简单的控制并发连接数量等等,聊胜于无

处理高并发短连接请求 ,把成千上万用户的request 通过内网的几十个长连接进行转发,原因一个是web server处理高并发很专业,另外一个原因是大部分的application所用的框架都不具备处理高并发的能力

实际上,市面上有部分web framework由于内置了支持epoll/kqueue 等高效网络库,而具备了处理高并发的能力,比如说 python的tornado,java系的tomcat,jetty等等,有人就去掉前端的web server,直接裸奔,但是在部署公网应用时候,最好别这样做,因为前面提到的1,2两个原因,用户brower到web server的网络状况是千奇百怪,你无法想象的,

web server 强烈建议使用nginx,原因有三

性能非常卓越,非常稳定
安装简单,依赖包少
conf文件非常容易配置,比apache/lighttpd都要简单
部署python开发的web程序有9种方法

mod_python ,这是apache内置的模块,很严重的依赖于mod_python编译使用的python版本,和apache配套使用,不推荐

cgi ,这个太old,不推荐,而且nginx不支持cgi方式,只能用lighttpd或者apache

fastcgi  ,这个是目前流行最广的做法,通过flup模块来支持的,在nginx里对应的配置指令是 fastcgi_pass

spawn-fcgi ,这个是fastcgi多进程管理程序,lighttpd安装包附带的,和 flup效果一样,区别是flup是 python代码级引入,spawn-fcgi是外部程序。spawn-fcgi用途很广,可以支持任意语言开发的代码,php,python,perl,只要你代码实现了fastcgi接口,它都可以帮你管理你的进程

scgi ,全名是Simple Common Gateway Interface,也是cgi的替代版本, scgi协议 很简单,我觉得和fastcgi差不多,只是没有怎么推广开来,nginx对应的配置指令是scgi_pass,你想用就用,flup也支持。

http ,nginx使用proxy_pass转发,这个要求后端appplication必须内置一个能处理高并发的http server,在python的web框架当中,只能选择tornado.

python程序员喜欢发明轮子,tornado除了是一个web framework之外,它还可以单独提供高性能http server,所以,如果你采用其他python框架写代码,比如说bottle,也一样可以通过import tornado 来启动一个高性能的http server,同样的可以采用http协议和nginx一起来部署。扩展开来,python包里面能处理高并发的http server还有很多,比如说gevent,也可以被其他框架引用来支持http方式部署。

现实当中,用java来做web程序,通常就用http和nginx配合,应用服务器选择tomcat或者jetty

uwsgi ,包括4部分组成,

uwsgi协议
web server内置支持协议模块
application服务器协议支持模块
进程控制程序

nginx从0.8.4开始内置支持uwsgi协议,uwsgi协议非常简单,一个4个字节header+一个body,body可以是很多协议的包,比如说http,cgi等(通过header里面字段标示),我曾经做个一个小规模的性能对比测试,结果表明,uwsgi和fastcgi相比,性能没有太明显的优势,也可能是数据集较小的原因

uwsgi的特点在于自带的进程控制程序.它是用c语言编写,使用natvie函数,其实和spawn-fcgi/php-fpm类似。所以uwsgi可以支持多种应用框架,包括(python,lua,ruby,erlang,go)等等

Gunicorn ,和uwsgi类似的工具,从rails的部署工具(Unicorn)移植过来的。但是它使用的协议是 WSGI,全称是Python Web Server Gateway Interface ,这是python2.5时定义的官方标准( PEP 333  ),根红苗正,而且部署比较简单, http://gunicorn.org/  上有详细教程

mod_wsgi ,apache的一个module,也是支持WSGI协议, https://code.google.com/p/modwsgi/

fastcgi协议和http协议在代码部署中的的优劣对比

fastcgi虽然是二进制协议,相对于http协议,并不节省资源。二进制协议,只能节省数字的表达,比如 1234567,用字符串表示需要7个Byte,用数字就是4个Byte,而字符串到哪里都一样

fastcgi在传输数据的时候,为了兼容cgi协议,还要带上一堆cgi的环境变量,所以和http协议相比,用fastcgi传输数据并不省,反而多一些

fastcgi 唯一的优点是,它是长连接的,用户并发1000个request,fastcgi可能就用10个 链接转发给后端的appplication,如果用http协议,那来多少给多少,会向后端appplication 发起1000个请求

http代理转发方式,在面对超高并发的情况下会出问题,因为, tcp协议栈当中,port是int16整型  你本地新建一个connect,需要消耗一个端口,最多能到65536。外部并发几十万个请求,port池耗干,你的服务器只能拒绝响应了

总结

我个人习惯是用 fastcgi 协议部署python程序,简单省事,选择技术方案,一定要选择最简单最常见的,本博客的fastcgi运行脚本如下

kill - `cat / tmp / django.pid`
echo 'restart django....' 
python . / manage.py runfcgi - - settings = lutaf.settings_r maxchildren =  maxspare = minspare =  method = prefork pidfile = / tmp / django.pid host = 127.0 . 0.1  port = outlog = / tmp / dj.out errlog = / tmp / dj.error

推荐大家尝试 Gunicorn ,这是未来发展方向

Python 相关文章推荐
python获取文件后缀名及批量更新目录下文件后缀名的方法
Nov 11 Python
利用Python获取操作系统信息实例
Sep 02 Python
python 循环遍历字典元素的简单方法
Sep 11 Python
使用python 和 lint 删除项目无用资源的方法
Dec 20 Python
python traceback捕获并打印异常的方法
Aug 31 Python
python 2.7 检测一个网页是否能正常访问的方法
Dec 26 Python
Python中asyncio模块的深入讲解
Jun 10 Python
Python+PyQT5的子线程更新UI界面的实例
Jun 14 Python
Selenium 滚动页面至元素可见的方法
Mar 18 Python
Python threading模块condition原理及运行流程详解
Oct 05 Python
python - asyncio异步编程
Apr 06 Python
用python实现监控视频人数统计
May 21 Python
Python开发WebService系列教程之REST,web.py,eurasia,Django
Jun 30 #Python
windows下wxPython开发环境安装与配置方法
Jun 28 #Python
Python使用稀疏矩阵节省内存实例
Jun 27 #Python
Python实现的百度站长自动URL提交小工具
Jun 27 #Python
python使用心得之获得github代码库列表
Jun 25 #Python
在Python中使用异步Socket编程性能测试
Jun 25 #Python
Python开发的单词频率统计工具wordsworth使用方法
Jun 25 #Python
You might like
PHP捕获Fatal error错误的方法
2014/06/11 PHP
自己写的兼容低于PHP 5.5版本的array_column()函数
2014/10/24 PHP
PHP attributes()函数讲解
2019/02/03 PHP
简单的无缝滚动程序-仅几行代码
2007/05/08 Javascript
浅谈javascript的原型继承
2012/07/25 Javascript
三种方式获取XMLHttpRequest对象
2014/04/21 Javascript
jQuery使用hide方法隐藏指定元素class样式用法实例
2015/03/30 Javascript
js数组去重的方法汇总
2015/07/29 Javascript
简单了解JavaScript操作XPath的一些基本方法
2016/06/03 Javascript
基于JavaScript实现跳转提示页面
2016/09/24 Javascript
javascript获取以及设置光标位置
2017/02/16 Javascript
JS排序之选择排序详解
2017/04/08 Javascript
JS从非数组对象转数组的方法小结
2018/03/26 Javascript
使用Vue组件实现一个简单弹窗效果
2018/04/23 Javascript
解决vue2.0 element-ui中el-upload的before-upload方法返回false时submit()不生效问题
2018/08/24 Javascript
vue页面切换项目实现转场动画的方法
2019/11/12 Javascript
Vue scoped及deep使用方法解析
2020/08/01 Javascript
解决vue路由name同名,路由重复的问题
2020/08/05 Javascript
[43:35]TI4 循环赛第二日Liquid vs Fnatic
2014/07/11 DOTA
Python黑魔法Descriptor描述符的实例解析
2016/06/02 Python
python的Crypto模块实现AES加密实例代码
2018/01/22 Python
Python OpenCV读取png图像转成jpg图像存储的方法
2018/10/28 Python
Python制作exe文件简单流程
2019/01/24 Python
flask框架单元测试原理与用法实例分析
2019/07/23 Python
Python实现ATM系统
2020/02/17 Python
Django 解决distinct无法去除重复数据的问题
2020/05/20 Python
matplotlib 三维图表绘制方法简介
2020/09/20 Python
canvas与html5实现视频截图功能示例
2016/12/15 HTML / CSS
优秀毕业生推荐信
2013/11/02 职场文书
销售实习自我鉴定
2013/12/07 职场文书
幼儿园五一活动方案
2014/02/07 职场文书
高三高考决心书
2014/03/11 职场文书
2014年三万活动总结
2014/04/26 职场文书
可可西里观后感
2015/06/08 职场文书
正规欠条模板
2015/07/03 职场文书
golang定时器
2022/04/14 Golang