浅谈Python项目的服务器部署


Posted in Python onApril 25, 2021

关于Web服务器和应用服务器

基本概念:

  • Web服务器主要功能就是存储、处理、传递网页,客户端和服务器之间基于HTTP协议进行通信。
  • 应用服务器主要是处理动态请求,调用相应的对象完成对请求的处理,返回响应的结果。

两者之间的区别:

  • Web服务器主要是以HTTP为核心,WEB UI为向导的应用,处理一些静态请求。
  • 应用服务器虽然也支持HTTP协议,但应用服务器可以通过很多协议为应用程序提供商业逻辑。

Python项目部署架构

在我们平时搭建一个Python Web项目时,比如Django框架的项目,这时候常见的服务端架构:

  1. Nginx服务器作为代理服务器,代理处理静态资源(js,css,图片)请求,以及动态请求(增删改查)转发以及返回处理结果。
  2. uWSGI服务器负责接受Nginx服务器,处理过后转发给Django应用,接受Django应用处理返回的信息,在转发给nginx
  3. Django应用从uWSGI服务器接收请求,调用相应的业务逻辑,处理数据渲染相应的页面并且返回给uWSGI服务器。

关于cgi、wsgi、uwsgi、http协议

接下来针对上文提到Django项目部署架构,聊聊这几个协议在这过程中的作用:

  1. http协议:客户端程序和Nginx服务器通信就是基于http协议,而Nginx服务器作为一个代理服务器,会根据HTTP请求返回静态资源还是转发动态请求。
  2. cgi协议:cgi协议是外部应用程序和Web服务器之间的接口标准,简而言之,就是规定如何让一个程序与Web服务器程序之间通信。
  3. wsgi协议:基于现存的CGI标准设计,一个Python web框架编写的应用程序和Web服务器之间通信的规范。
  4. uwsgi:uWSGI服务器独有的协议,用于uWSGI服务器和其他Web服务器之间的数据通信

关于cgi、fastcgi、php-fpm、FastCGI(额外)

  1. CGI:是 Web Server 与 Web Application 之间数据交换的一种协议。
  2. FastCGI:同 CGI,是一种通信协议,但比 CGI 在效率上做了一些优化。同样,SCGI 协议与 FastCGI 类似。
  3. PHP-CGI:是 PHP (Web Application)对 Web Server 提供的 CGI 协议的接口程序。
  4. PHP-FPM:是 PHP(Web Application)对 Web Server 提供的 FastCGI 协议的接口程序,额外还提供了相对智能一些任务管理。

关于uWSGI、Nginx服务器

简单来讲,uWSGI也是一个Web服务器,他虽然同时实现了http、uwsgi、wsgi协议,但是更多被作为应用服务器和应用程序之间进行通信。
那么这里就有个疑问了,为什么uWSGI都能直接处理http请求了,还需要Nginx服务器?这样处理有几点原因:

  1. 首先Nginx服务器在这过程中属于代理服务器的角色,每当一个http请求进来,就需要经过Nginx服务器,而Nginx服务器的优势就在于异步非阻塞的网络模型,它能够在单线程的情况下处理大量的请求,针对处理静态资源请求;而对于动态请求,能够通过缓存的功能,并且配合CDN进行优化,这样能够极大降低系统的负载,降低客户端响应时间。
  2. 其次,Nginx服务器能够进行负载均衡,启用多个后端服务器,通过Nginx对HTTP请求进行分配,这样能够极大优化架构的效率,提高处理的性能。
  3. 最后,Nginx有很多模块支持一些比如白名单,黑名单功能,并且配合keepalive实现高可用的架构.

总而言之,Nginx服务器在处理http请求上,都有着uWSGI没有的优势,所以在日常部署环境中,经常会使用到Nginx+uWSGI。

uWSGI

安装部署

uWSGI有两种安装方式,一种是通过pip安装,一种是通过源码安装。这里就简单介绍pip安装方式,源码安装有兴趣可以私下自己了解。

pip install uwsgi

相关文件

uWSGI服务器在启动的过程中主要涉及到以下这几个文件,其中uwsgi.sock还会涉及到Nginx相关部署的问题,在Nginx配置的时候回继续展开讲。

(venv) [root@mbb-48 uwsgi]# tree .
.
|-- uwsgi.ini       # uwsgi配置文件
|-- uwsgi.log       # uwsgi日志文件
|-- uwsgi.pid       # uwsgi运行进程pid
|-- uwsgi.sock      # uwsgi socket
`-- uwsgi.status    # uwsgi状态文件

配置示例

以下配置是自己一个项目中用到的,其中的配置参数都是比较常见通用。

[uwsgi]
chdir=/data/Novel/novel_test
module=novel_test.wsgi:application
home=/data/Novel/venv
static-map=/static=/data/Novel/novel_test/static
threads=8
http=0.0.0.0:23606
master=true
vacuum=true
thunder-lock=true
uid=root
gid=root
harakiri=30
post-buffering=4096
socket=%(chdir)/uwsgi/uwsgi.sock
stats=%(chdir)/uwsgi/uwsgi.status
pidfile=%(chdir)/uwsgi/uwsgi.pid
daemonize=%(chdir)/uwsgi/uwsgi.log

配置解析

  • chdir: 定义项目的目录
  • module: 要使用的 WSGI 模块,不同的Python web框架中使用方式也不太一样。
  • home: 指定Python执行环境,这个参数针对有不同Python运行环境,比如virtualenv创建独立Python环境的情况。
  • static-map: 映射静态目录
  • threads: 线程数量
  • http: 指定启动地址和端口
  • master: 启用主进程
  • vacuum: 退出时,清理产生的中间文件(sock,pid,stats)
  • thunder-lock: 序列化接收的内容
  • uid: 指定启动用户
  • gid: 指定启动组
  • harakiri: 设置服务器响应时间
  • post-buffering: 启用缓冲
  • socket: socket文件存放路径
  • stats: stats文件存放路径
  • pidfile: pid文件存放路径
  • daemonize: 日志文件输出文件路径

额外配置

  • processes: 进程数量
  • buffer-size: 设置缓冲大小
  • listen: 设置监听队列大小(默认100)
  • max-requests: 每个工作进程请求书的最高上限
  • procname-prefix-spaced: 工作进程的前缀名
  • wsgi-file: 指定加载WSGI文件

常用命令

上面介绍了相关常用的配置参数,当设置uWSGI参数后,需要启动指定配置文件,以及有关暂停,重启的动作。

uwsgi --ini uwsgi.ini   # 启动uWSGI
uwsgi --stop uwsgi.pid  # 暂停uWSGI
uwsgi --reload uwsgi.pid    # 重启uWSGI

服务监控

uWSGI之一Stats服务器机制,它能将uWSGI状态作为一个JSON对象导出一个socket中,只需要像我们前面配置uWSGI配置文件一样,添加stats选项,跟着一个有效的socket地址接口。

当你配置完毕后,就可以通过客户端连接到指定的socket地址,将会获得一个包含uWSGI内部统计数据的JSON对象。

uwsgi --connect-and-read uwsgi.status

执行完这个命令后,读取的返回的结果是一个json字符串,字符串中包括每个线程的状态,整个应用的负载,版本,监听队列等详细的信息。

uwsgitop查看实时状态
uwsgitop是一个开源的实时监控uWSGI服务器状态的工具,安装也十分简单:

pip install uwsgitop

具体uwsgitop像一个top命令,监听应用程序并且使用socket地址进行调用,查看进程运行状态,运行详细信息:

uwsgitop uwsgi/uwsgi.status
uwsgi-2.0.19.1 - Sun Sep 20 15:58:48 2020 - req: 6 - RPS: 0 - lq: 0 - tx: 67.6K
node: mbb-48 - cwd: /data/Novel/novel_test - uid: 0 - gid: 0 - masterpid: 15109
 WID    %       PID     REQ     RPS     EXC     SIG     STATUS  AVG     RSS     VSZ     TX      ReSpwn  HC      RunT    LastSpwn
 1	100.0   15144   6	0	0	0	idle    15ms    0	0	67.6K   1	0	125.449 15:48:08
  :2    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :3    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :0    33.3    -	2	0	-	-	idle    -	-	-	-	-
  :1    33.3    -	2	0	-	-	idle    -	-	-	-	-

具体有兴趣的同学可以参考github地址:

https://github.com/xrmx/uwsgitop

总结

关于uWSGI服务器相关使用就总结到这里,因为在平时工作中会经常接触到,但是由于没有应用到一些高并发的场景,对于uwsgi调优方面没有多少经验,等待以后遇到此类问题再继续总结性能调优方面的问题。同时有关Nginx方面的配置留到下一篇文章继续讲,未完待续。。。。。

以上就是浅谈Python项目的服务器部署的详细内容,更多关于python 服务器部署的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python中动态检测编码chardet的使用教程
Jul 06 Python
详解python实现读取邮件数据并下载附件的实例
Aug 03 Python
Python OpenCV实现图片上输出中文
Jan 22 Python
Python实现自动上京东抢手机
Feb 06 Python
Python爬虫之pandas基本安装与使用方法示例
Aug 08 Python
Python如何爬取微信公众号文章和评论(基于 Fiddler 抓包分析)
Jun 28 Python
Python 使用folium绘制leaflet地图的实现方法
Jul 05 Python
Python 异常的捕获、异常的传递与主动抛出异常操作示例
Sep 23 Python
numpy数组做图片拼接的实现(concatenate、vstack、hstack)
Nov 08 Python
tensorflow mnist 数据加载实现并画图效果
Feb 05 Python
Django项目uwsgi+Nginx保姆级部署教程实现
Apr 19 Python
python获取带有返回值的多线程
May 02 Python
Python Socket编程详解
Apr 25 #Python
Python Django 后台管理之后台模型属性详解
如何用python反转图片,视频
python基于tkinter制作m3u8视频下载工具
用python自动生成日历
解决Django transaction进行事务管理踩过的坑
Apr 24 #Python
pdf论文中python画的图Type 3 fonts字体不兼容的解决方案
Apr 24 #Python
You might like
解析php中获取url与物理路径的总结
2013/06/21 PHP
php遍历类中包含的所有元素的方法
2015/05/12 PHP
PHP简单处理表单输入的特殊字符的方法
2016/02/03 PHP
php实现在线通讯录功能(附源码)
2016/05/13 PHP
PHP加密解密类实例代码
2016/07/20 PHP
php解决DOM乱码的方法示例代码
2016/11/20 PHP
利用PHP获取访客IP、地区位置、浏览器及来源页面等信息
2017/06/27 PHP
PHP PDOStatement::rowCount讲解
2019/02/01 PHP
Laravel 解决419错误 -ajax请求错误的问题(CSRF验证)
2019/10/25 PHP
JavaScript 仿关机效果的图片层
2008/12/26 Javascript
使用JavaScript switch case 另类写法
2010/03/14 Javascript
使用Grunt.js管理你项目的应用说明
2013/04/24 Javascript
nodejs URL模块操作URL相关方法介绍
2015/03/03 NodeJs
React中ES5与ES6写法的区别总结
2017/04/21 Javascript
JavaScript数据类型和变量_动力节点Java学院整理
2017/06/26 Javascript
纯html+css+javascript实现楼层跳跃式的页面布局(实例代码)
2017/10/25 Javascript
ActiveX控件的使用-js实现打印超市小票功能代码详解
2017/11/22 Javascript
详解vue mixins和extends的巧妙用法
2017/12/20 Javascript
微信小程序实现团购或秒杀批量倒计时
2020/11/01 Javascript
zepto.js 实时监听输入框的方法
2018/12/04 Javascript
layui表格设计以及数据初始化详解
2019/10/26 Javascript
原生JS实现拖拽效果
2020/12/04 Javascript
python写入并获取剪切板内容的实例
2018/05/31 Python
python递归实现快速排序
2018/08/18 Python
python pandas生成时间列表
2019/06/29 Python
python用分数表示矩阵的方法实例
2021/01/11 Python
纯CSS3实现的井字棋游戏
2020/11/25 HTML / CSS
移动通信专业自荐信范文
2013/11/12 职场文书
仓管岗位职责范本
2014/02/08 职场文书
高中毕业生的个人自我评价
2014/02/21 职场文书
开展党的群众路线教育实践活动领导班子对照检查材料
2014/09/25 职场文书
预备党员群众路线教育实践活动思想汇报2014
2014/10/25 职场文书
小学运动会加油词
2015/07/18 职场文书
DBCA命令行搭建Oracle ADG的流程
2021/06/11 Oracle
Java Lambda表达式常用的函数式接口
2022/04/07 Java/Android
MyBatis核心源码深度剖析SQL语句执行过程
2022/05/20 Java/Android