浅谈Python项目的服务器部署


Posted in Python onApril 25, 2021

关于Web服务器和应用服务器

基本概念:

  • Web服务器主要功能就是存储、处理、传递网页,客户端和服务器之间基于HTTP协议进行通信。
  • 应用服务器主要是处理动态请求,调用相应的对象完成对请求的处理,返回响应的结果。

两者之间的区别:

  • Web服务器主要是以HTTP为核心,WEB UI为向导的应用,处理一些静态请求。
  • 应用服务器虽然也支持HTTP协议,但应用服务器可以通过很多协议为应用程序提供商业逻辑。

Python项目部署架构

在我们平时搭建一个Python Web项目时,比如Django框架的项目,这时候常见的服务端架构:

  1. Nginx服务器作为代理服务器,代理处理静态资源(js,css,图片)请求,以及动态请求(增删改查)转发以及返回处理结果。
  2. uWSGI服务器负责接受Nginx服务器,处理过后转发给Django应用,接受Django应用处理返回的信息,在转发给nginx
  3. Django应用从uWSGI服务器接收请求,调用相应的业务逻辑,处理数据渲染相应的页面并且返回给uWSGI服务器。

关于cgi、wsgi、uwsgi、http协议

接下来针对上文提到Django项目部署架构,聊聊这几个协议在这过程中的作用:

  1. http协议:客户端程序和Nginx服务器通信就是基于http协议,而Nginx服务器作为一个代理服务器,会根据HTTP请求返回静态资源还是转发动态请求。
  2. cgi协议:cgi协议是外部应用程序和Web服务器之间的接口标准,简而言之,就是规定如何让一个程序与Web服务器程序之间通信。
  3. wsgi协议:基于现存的CGI标准设计,一个Python web框架编写的应用程序和Web服务器之间通信的规范。
  4. uwsgi:uWSGI服务器独有的协议,用于uWSGI服务器和其他Web服务器之间的数据通信

关于cgi、fastcgi、php-fpm、FastCGI(额外)

  1. CGI:是 Web Server 与 Web Application 之间数据交换的一种协议。
  2. FastCGI:同 CGI,是一种通信协议,但比 CGI 在效率上做了一些优化。同样,SCGI 协议与 FastCGI 类似。
  3. PHP-CGI:是 PHP (Web Application)对 Web Server 提供的 CGI 协议的接口程序。
  4. PHP-FPM:是 PHP(Web Application)对 Web Server 提供的 FastCGI 协议的接口程序,额外还提供了相对智能一些任务管理。

关于uWSGI、Nginx服务器

简单来讲,uWSGI也是一个Web服务器,他虽然同时实现了http、uwsgi、wsgi协议,但是更多被作为应用服务器和应用程序之间进行通信。
那么这里就有个疑问了,为什么uWSGI都能直接处理http请求了,还需要Nginx服务器?这样处理有几点原因:

  1. 首先Nginx服务器在这过程中属于代理服务器的角色,每当一个http请求进来,就需要经过Nginx服务器,而Nginx服务器的优势就在于异步非阻塞的网络模型,它能够在单线程的情况下处理大量的请求,针对处理静态资源请求;而对于动态请求,能够通过缓存的功能,并且配合CDN进行优化,这样能够极大降低系统的负载,降低客户端响应时间。
  2. 其次,Nginx服务器能够进行负载均衡,启用多个后端服务器,通过Nginx对HTTP请求进行分配,这样能够极大优化架构的效率,提高处理的性能。
  3. 最后,Nginx有很多模块支持一些比如白名单,黑名单功能,并且配合keepalive实现高可用的架构.

总而言之,Nginx服务器在处理http请求上,都有着uWSGI没有的优势,所以在日常部署环境中,经常会使用到Nginx+uWSGI。

uWSGI

安装部署

uWSGI有两种安装方式,一种是通过pip安装,一种是通过源码安装。这里就简单介绍pip安装方式,源码安装有兴趣可以私下自己了解。

pip install uwsgi

相关文件

uWSGI服务器在启动的过程中主要涉及到以下这几个文件,其中uwsgi.sock还会涉及到Nginx相关部署的问题,在Nginx配置的时候回继续展开讲。

(venv) [root@mbb-48 uwsgi]# tree .
.
|-- uwsgi.ini       # uwsgi配置文件
|-- uwsgi.log       # uwsgi日志文件
|-- uwsgi.pid       # uwsgi运行进程pid
|-- uwsgi.sock      # uwsgi socket
`-- uwsgi.status    # uwsgi状态文件

配置示例

以下配置是自己一个项目中用到的,其中的配置参数都是比较常见通用。

[uwsgi]
chdir=/data/Novel/novel_test
module=novel_test.wsgi:application
home=/data/Novel/venv
static-map=/static=/data/Novel/novel_test/static
threads=8
http=0.0.0.0:23606
master=true
vacuum=true
thunder-lock=true
uid=root
gid=root
harakiri=30
post-buffering=4096
socket=%(chdir)/uwsgi/uwsgi.sock
stats=%(chdir)/uwsgi/uwsgi.status
pidfile=%(chdir)/uwsgi/uwsgi.pid
daemonize=%(chdir)/uwsgi/uwsgi.log

配置解析

  • chdir: 定义项目的目录
  • module: 要使用的 WSGI 模块,不同的Python web框架中使用方式也不太一样。
  • home: 指定Python执行环境,这个参数针对有不同Python运行环境,比如virtualenv创建独立Python环境的情况。
  • static-map: 映射静态目录
  • threads: 线程数量
  • http: 指定启动地址和端口
  • master: 启用主进程
  • vacuum: 退出时,清理产生的中间文件(sock,pid,stats)
  • thunder-lock: 序列化接收的内容
  • uid: 指定启动用户
  • gid: 指定启动组
  • harakiri: 设置服务器响应时间
  • post-buffering: 启用缓冲
  • socket: socket文件存放路径
  • stats: stats文件存放路径
  • pidfile: pid文件存放路径
  • daemonize: 日志文件输出文件路径

额外配置

  • processes: 进程数量
  • buffer-size: 设置缓冲大小
  • listen: 设置监听队列大小(默认100)
  • max-requests: 每个工作进程请求书的最高上限
  • procname-prefix-spaced: 工作进程的前缀名
  • wsgi-file: 指定加载WSGI文件

常用命令

上面介绍了相关常用的配置参数,当设置uWSGI参数后,需要启动指定配置文件,以及有关暂停,重启的动作。

uwsgi --ini uwsgi.ini   # 启动uWSGI
uwsgi --stop uwsgi.pid  # 暂停uWSGI
uwsgi --reload uwsgi.pid    # 重启uWSGI

服务监控

uWSGI之一Stats服务器机制,它能将uWSGI状态作为一个JSON对象导出一个socket中,只需要像我们前面配置uWSGI配置文件一样,添加stats选项,跟着一个有效的socket地址接口。

当你配置完毕后,就可以通过客户端连接到指定的socket地址,将会获得一个包含uWSGI内部统计数据的JSON对象。

uwsgi --connect-and-read uwsgi.status

执行完这个命令后,读取的返回的结果是一个json字符串,字符串中包括每个线程的状态,整个应用的负载,版本,监听队列等详细的信息。

uwsgitop查看实时状态
uwsgitop是一个开源的实时监控uWSGI服务器状态的工具,安装也十分简单:

pip install uwsgitop

具体uwsgitop像一个top命令,监听应用程序并且使用socket地址进行调用,查看进程运行状态,运行详细信息:

uwsgitop uwsgi/uwsgi.status
uwsgi-2.0.19.1 - Sun Sep 20 15:58:48 2020 - req: 6 - RPS: 0 - lq: 0 - tx: 67.6K
node: mbb-48 - cwd: /data/Novel/novel_test - uid: 0 - gid: 0 - masterpid: 15109
 WID    %       PID     REQ     RPS     EXC     SIG     STATUS  AVG     RSS     VSZ     TX      ReSpwn  HC      RunT    LastSpwn
 1	100.0   15144   6	0	0	0	idle    15ms    0	0	67.6K   1	0	125.449 15:48:08
  :2    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :3    16.7    -	1	0	-	-	idle    -	-	-	-	-
  :0    33.3    -	2	0	-	-	idle    -	-	-	-	-
  :1    33.3    -	2	0	-	-	idle    -	-	-	-	-

具体有兴趣的同学可以参考github地址:

https://github.com/xrmx/uwsgitop

总结

关于uWSGI服务器相关使用就总结到这里,因为在平时工作中会经常接触到,但是由于没有应用到一些高并发的场景,对于uwsgi调优方面没有多少经验,等待以后遇到此类问题再继续总结性能调优方面的问题。同时有关Nginx方面的配置留到下一篇文章继续讲,未完待续。。。。。

以上就是浅谈Python项目的服务器部署的详细内容,更多关于python 服务器部署的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python模拟登录12306的方法
Dec 30 Python
python编写弹球游戏的实现代码
Mar 12 Python
对python中的logger模块全面讲解
Apr 28 Python
python主线程捕获子线程的方法
Jun 17 Python
Python 利用内置set函数对字符串和列表进行去重的方法
Jun 29 Python
Flask框架Flask-Login用法分析
Jul 23 Python
django从请求到响应的过程深入讲解
Aug 01 Python
Python3 列表,数组,矩阵的相互转换的方法示例
Aug 05 Python
关于Python字符串显示u...的解决方式
Mar 06 Python
Python 内置函数速查表一览
Jun 02 Python
关于Python使用turtle库画任意图的问题
Apr 01 Python
python数字图像处理数据类型及颜色空间转换
Jun 28 Python
Python Socket编程详解
Apr 25 #Python
Python Django 后台管理之后台模型属性详解
如何用python反转图片,视频
python基于tkinter制作m3u8视频下载工具
用python自动生成日历
解决Django transaction进行事务管理踩过的坑
Apr 24 #Python
pdf论文中python画的图Type 3 fonts字体不兼容的解决方案
Apr 24 #Python
You might like
一段php加密解密的代码
2006/10/09 PHP
PHP-MySQL教程归纳总结
2008/06/07 PHP
讲解WordPress中用于获取评论模板和搜索表单的PHP函数
2015/12/28 PHP
为何说PHP引用是个坑,要慎用
2018/04/02 PHP
PHP工厂模式的日常使用
2019/03/20 PHP
可拖动窗口,附带鼠标控制渐变透明,开启关闭功能
2006/06/26 Javascript
myeclipse安装jQuery插件的方法
2011/03/29 Javascript
jquery动态加载select下拉框示例代码
2013/12/10 Javascript
Angular 2父子组件数据传递之局部变量获取子组件其他成员
2017/07/04 Javascript
在ABP框架中使用BootstrapTable组件的方法
2017/07/31 Javascript
使用jquery+iframe做一个ajax上传效果(实例)
2017/08/24 jQuery
jQuery选择器之基本选择器用法实例分析
2019/02/19 jQuery
原生JS无缝滑动轮播图
2019/10/22 Javascript
在Python的Django框架中生成CSV文件的方法
2015/07/22 Python
Flask web开发处理POST请求实现(登录案例)
2018/07/26 Python
Python常见内置高效率函数用法示例
2018/07/31 Python
Python 实现微信防撤回功能
2019/04/29 Python
Python基础学习之类与实例基本用法与注意事项详解
2019/06/17 Python
Pyqt5实现英文学习词典
2019/06/24 Python
PyQt5重写QComboBox的鼠标点击事件方法
2019/06/25 Python
pandas的to_datetime时间转换使用及学习心得
2019/08/11 Python
python3正则模块re的使用方法详解
2020/02/11 Python
python 两个一样的字符串用==结果为false问题的解决
2020/03/12 Python
Python读取yaml文件的详细教程
2020/07/21 Python
python的flask框架难学吗
2020/07/31 Python
Python3如何使用range函数替代xrange函数
2020/10/05 Python
Python使用Pygame绘制时钟
2020/11/29 Python
linux下进程间通信的方式
2014/12/23 面试题
主治医师岗位职责
2013/12/10 职场文书
会计系中文个人求职信
2013/12/24 职场文书
优秀党员获奖感言
2014/02/18 职场文书
新闻学专业求职信
2014/07/28 职场文书
2014年行政人事工作总结
2014/12/09 职场文书
服装店员工管理制度
2015/08/07 职场文书
sql查询结果列拼接成逗号分隔的字符串方法
2021/05/25 SQL Server
JavaScript数组reduce()方法的语法与实例解析
2021/07/07 Javascript