nginx反向代理时如何保持长连接


Posted in Servers onMarch 31, 2021

·【场景描述】

HTTP1.1之后,HTTP协议支持持久连接,也就是长连接,优点在于在一个TCP连接上可以传送多个HTTP请求和响应,减少了建立和关闭连接的消耗和延迟。

如果我们使用了nginx去作为反向代理或者负载均衡,从客户端过来的长连接请求就会被转换成短连接发送给服务器端。

为了支持长连接,我们需要在nginx服务器上做一些配置。

·【要求】

使用nginx时,想要做到长连接,我们必须做到以下两点:

  • 从client到nginx是长连接
  • 从nginx到server是长连接

对于客户端而言,nginx其实扮演着server的角色,反之,之于server,nginx就是一个client。

·【保持和 Client 的长连接】

我们要想做到Client与Nginx之间保持长连接,需要:

  • Client发送过来的请求携带"keep-alive"header。
  • Nginx设置支持keep-alive

【HTTP配置】

默认情况下,nginx已经开启了对client连接的 keepalive 支持。对于特殊场景,可以调整相关参数。

http {

keepalive_timeout 120s;    #客户端链接超时时间。为0的时候禁用长连接。

keepalive_requests 10000;  #在一个长连接上可以服务的最大请求数目。

                         #当达到最大请求数目且所有已有请求结束后,连接被关闭。

                         #默认值为100

}

大多数情况下,keepalive_requests = 100也够用,但是对于 QPS 较高的场景,非常有必要加大这个参数,以避免出现大量连接被生成再抛弃的情况,减少TIME_WAIT。

QPS=10000 时,客户端每秒发送 10000 个请求 (通常建立有多个长连接),每个连接只能最多跑 100 次请求,意味着平均每秒钟就会有 100 个长连接因此被 nginx 关闭。

同样意味着为了保持 QPS,客户端不得不每秒中重新新建 100 个连接。

因此,如果用netstat命令看客户端机器,就会发现有大量的TIME_WAIT的socket连接 (即使此时keep alive已经在 Client 和 NGINX 之间生效)。

·【保持和Server的长连接】

想让Nginx和Server之间维持长连接,最朴素的设置如下:

http {

upstream backend {

  server 192.168.0.1:8080 weight=1 max_fails=2 fail_timeout=30s;

  server 192.168.0.2:8080 weight=1 max_fails=2 fail_timeout=30s;

  keepalive 300; // 这个很重要!

}   

server {

listen 8080 default_server;

server_name "";

   

location / {

proxy_pass http://backend;

proxy_http_version 1.1;                         # 设置http版本为1.1

proxy_set_header Connection "";      # 设置Connection为长连接(默认为no)}

}

}

}

【upstream配置】

upstream中,有一个参数特别的重要,就是keepalive。

这个参数和之前http里面的 keepalive_timeout 不一样。

这个参数的含义是,连接池里面最大的空闲连接数量。

不理解?没关系,我们来举个例子:

场景:

有一个HTTP服务,作为upstream服务器接收请求,响应时间为100毫秒。

要求性能达到10000 QPS,我们需要在nginx与upstream服务器之间建立大概1000条HTTP请求。(1000/0.1s=10000) 

最优情况:

假设请求非常的均匀平稳,每一个请求都是100ms,请求结束会被马上放入连接池并置为idle(空闲)状态。

我们以0.1s为单位:

1. 我们现在keepalive的值设置为10,每0.1s钟有1000个连接

2. 第0.1s的时候,我们一共有1000个请求收到并释放

3. 第0.2s的时候,我们又来了1000个请求,在0.2s结束的时候释放   

请求和应答都比较均匀,0.1s释放的连接正好够用,不需要建立新连接,且连接池中没有idle状态的连接。   

第一种情况:

应答非常平稳,但是请求不平稳的时候

4. 第0.3s的时候,我们只有500个请求收到,有500个请求因为网络延迟等原因没有进来

这个时候,Nginx检测到连接池中有500个idle状态的连接,就直接关闭了(500-10)个连接

5. 第0.4s的时候,我们收到了1500个请求,但是现在池里面只有(500+10)个连接,所以Nginx不得不重新建立了(1500-510)个连接。

如果在第4步的时候,没有关闭那490个连接的话,只需要重新建立500个连接。   

第二种情况:

请求非常平稳,但是应答不平稳的时候

4. 第0.3s的时候,我们一共有1500个请求收到

但是池里面只有1000个连接,这个时候,Nginx又创建了500个连接,一共1500个连接

5. 第0.3s的时候,第0.3s的连接全部被释放,我们收到了500个请求

Nginx检测到池里面有1000个idle状态的连接,所以不得不释放了(1000-10)个连接 

造成连接数量反复震荡的一个推手,就是这个keepalive 这个最大空闲连接数。

上面的两种情况说的都是 keepalive 设置的不合理导致Nginx有多次释放与创建连接的过程,造成资源浪费。 

keepalive 这个参数设置一定要小心,尤其是对于 QPS 要求比较高或者网络环境不稳定的场景,一般根据 QPS 值和 平均响应时间能大致推算出需要的长连接数量。

然后将keepalive设置为长连接数量的10%到30%。 

【location配置】

http {

server {

location / {

proxy_pass http://backend;

proxy_http_version 1.1;                         # 设置http版本为1.1

proxy_set_header Connection "";      # 设置Connection为长连接(默认为no)

}

}

}

HTTP 协议中对长连接的支持是从 1.1 版本之后才有的,因此最好通过 proxy_http_version 指令设置为 1.1。

HTTP1.0不支持keepalive特性,当没有使用HTTP1.1的时候,后端服务会返回101错误,然后断开连接。   

而 "Connection" header 可以选择被清理,这样即便是 Client 和 Nginx 之间是短连接,Nginx 和 upstream 之间也是可以开启长连接的。

【另外一种高级方式】

http {

map $http_upgrade $connection_upgrade {

default upgrade;

'' close;

}   

upstream backend {

server 192.168.0.1:8080 weight=1 max_fails=2 fail_timeout=30s;

server 192.168.0.2:8080 weight=1 max_fails=2 fail_timeout=30s;

keepalive 300;

}   

server {

listen 8080 default_server;

server_name "";

location / {

proxy_pass http://backend;

   

proxy_connect_timeout 15;       #与upstream server的连接超时时间(没有单位,最大不可以超过75s)

proxy_read_timeout 60s;           #nginx会等待多长时间来获得请求的响应

proxy_send_timeout 12s;           #发送请求给upstream服务器的超时时间   

proxy_http_version 1.1;

proxy_set_header Upgrade $http_upgrade;

proxy_set_header Connection $connection_upgrade;

}

}

}

http里面的map的作用是:

让转发到代理服务器的 "Connection" 头字段的值,取决于客户端请求头的 "Upgrade" 字段值。

如果 $http_upgrade没有匹配,那 "Connection" 头字段的值会是upgrade。

如果 $http_upgrade为空字符串的话,那 "Connection" 头字段的值会是 close。

【补充】

NGINX支持WebSocket。

对于NGINX将升级请求从客户端发送到后台服务器,必须明确设置Upgrade和Connection标题。

这也算是上面情况所非常常用的场景。

HTTP的Upgrade协议头机制用于将连接从HTTP连接升级到WebSocket连接,Upgrade机制使用了Upgrade协议头和Connection协议头。

为了让Nginx可以将来自客户端的Upgrade请求发送到后端服务器,Upgrade和Connection的头信息必须被显式的设置。 

【注意】

在nginx的配置文件中,如果当前模块中没有proxy_set_header的设置,则会从上级别继承配置。

继承顺序为:http, server, location。   

如果在下一层使用proxy_set_header修改了header的值,则所有的header值都可能会发生变化,之前继承的所有配置将会被丢弃。

所以,尽量在同一个地方进行proxy_set_header,否则可能会有别的问题。   

·【参考】

Nginx中文官方文档: http://www.nginx.cn/doc/

测试参考文档: https://www.lijiaocn.com/问题/2019/05/08/nginx-ingress-keep-alive-not-work.html

keep-alive参考文档: https://wglee.org/2018/12/02/nginx-keepalive/

以上就是nginx反向代理时如何保持长连接的详细内容,更多关于nginx 保持长连接的资料请关注三水点靠木其它相关文章!

Servers 相关文章推荐
Nginx的反向代理实例详解
Mar 31 Servers
Nginx Rewrite使用场景及配置方法解析
Apr 01 Servers
Nginx URL重写rewrite机制原理及使用实例
Apr 01 Servers
Nginx使用X-Accel-Redirect实现静态文件下载的统计、鉴权、防盗链、限速等
Apr 04 Servers
教你利用Nginx 服务搭建子域环境提升二维地图加载性能的步骤
Sep 25 Servers
nginx内存池源码解析
Nov 20 Servers
使用 Apache Dubbo 实现远程通信(微服务架构)
Feb 12 Servers
Nginx性能优化之Gzip压缩设置详解(最大程度提高页面打开速度)
Feb 12 Servers
排查Tomcat进程假死的问题
May 06 Servers
zabbix配置nginx监控的实现
May 25 Servers
Nginx本地配置SSL访问的实例教程
May 30 Servers
Nginx开源可视化配置工具NginxConfig使用教程
Jun 21 Servers
Nginx + consul + upsync 完成动态负载均衡的方法详解
Mar 31 #Servers
浅谈Nginx 中的两种限流方式
Mar 31 #Servers
查看nginx配置文件路径和资源文件路径的方法
Mar 31 #Servers
nginx里的rewrite跳转的实现
Mar 31 #Servers
nginx基于域名,端口,不同IP的虚拟主机设置的实现
Mar 31 #Servers
Nginx设置日志打印post请求参数的方法
Mar 31 #Servers
nginx 多个location转发任意请求或访问静态资源文件的实现
You might like
PHP 彩色文字实现代码
2009/06/29 PHP
全面解读PHP的Yii框架中的日志功能
2016/03/17 PHP
PHP简单检测网址是否能够正常打开的方法
2016/09/04 PHP
php正则去除网页中所有的html,js,css,注释的实现方法
2016/11/03 PHP
phpfpm的作用和用法
2019/10/10 PHP
laravel 实现关闭CSRF(全部关闭、部分关闭)
2019/10/21 PHP
php 多进程编程父进程的阻塞与非阻塞实例分析
2020/02/22 PHP
jquery autocomplete自动完成插件的的使用方法
2010/08/07 Javascript
js简单实现用户注册信息的校验代码
2013/11/15 Javascript
JS对字符串编码的几种方式使用指南
2015/05/14 Javascript
微信jssdk用法汇总
2016/07/16 Javascript
js多个物体运动功能实例分析
2016/12/20 Javascript
jQuery+ajax实现动态添加表格tr td功能示例
2018/04/23 jQuery
微信小程序实现获取准确的腾讯定位地址功能示例
2019/03/27 Javascript
vue 输入电话号码自动按3-4-4分割功能的实现代码
2020/04/30 Javascript
js 动态校验开始结束时间的实现代码
2020/05/25 Javascript
js+css3实现简单时钟特效
2020/09/13 Javascript
[51:39]DOTA2-DPC中国联赛 正赛 Magma vs LBZS BO3 第二场 2月7日
2021/03/11 DOTA
python如何去除字符串中不想要的字符
2020/07/05 Python
Python matplotlib 画图窗口显示到gui或者控制台的实例
2018/05/24 Python
python cumsum函数的具体使用
2019/07/29 Python
python3.6、opencv安装环境搭建过程(图文教程)
2019/11/05 Python
Python数据存储之 h5py详解
2019/12/26 Python
纯CSS3编写的的精美动画进度条(无flash/无图像/无脚本/附源码)
2013/01/07 HTML / CSS
萌新HTML5 入门指南(二)
2020/11/09 HTML / CSS
土耳其时尚购物网站:Morhipo
2017/09/04 全球购物
千元咖啡店的创业计划书范文
2013/12/29 职场文书
办理居住证介绍信
2014/01/15 职场文书
副护士长竞聘演讲稿
2014/04/30 职场文书
过程装备与控制工程专业求职信
2014/07/02 职场文书
毕业证明模板
2015/06/19 职场文书
python爬取网页版QQ空间,生成各类图表
2021/06/02 Python
MySQL REVOKE实现删除用户权限
2021/06/18 MySQL
Python面向对象之成员相关知识总结
2021/06/24 Python
Go微服务项目配置文件的定义和读取示例详解
2022/06/21 Golang
Win11任务栏无法正常显示 资源管理器不停重启的解决方法
2022/07/07 数码科技