Nginx + consul + upsync 完成动态负载均衡的方法详解


Posted in Servers onMarch 31, 2021

前置知识

DNS域名解析过程

  • 在浏览器输入域名,访问后
  • 在浏览器缓存中查找是否有对应的ip和端口,如果有直接访问对应ip和端口
  • 浏览器缓存中没有则在本地host文件中查找是否有对应的~~
  • 本地host文件中没有则去DSN服务器上查找

 外网映射

顾名思义,就是将本地的ip地址,映射出一个公网ip,可以供所有主机(连接到互联网的计算机)访问

  • 疑问:为什么需要使用外网映射

例如做微信支付时的第三方接口回调,微信回调你的接口必须是一个公网ip地址,不然他根本无法给你回调,导致你本地无法测试。这个时候你就需要外网映射来将自己的ip地址映射成一个公网(可供主机访问的网络)

  • 疑问:如何实现外网映射?

通过第三方工具完成外网映射,例如natapp,ngrok,具体如何使用自行进入官网观看,
ngrok官网.
natapp官网.(推荐)

 nginx 核心知识

什么是nginx

nginx是一款轻量级的web服务器/反向代理服务器,很小并且支持非常高的并发量

应用场景

http服务器 :做静态服务器、图片服务器
虚拟主机配置 :将一台服务器、拆分成多个网站部署。(可以通过配置不同的域名映射或者不同的端口来完成虚拟主机的配置)
反向代理: 使用反向代理隐藏真实ip地址
反向代理应用场景:
你有3台服务器分别提供不同的服务,这个时候使用nginx来配置通过域名映射来完成不同三台服务器的访问,或者通过端口也可以。可以隐藏3台提供服务器的真实ip地址,nginx通过内部转发到不同的服务器,抓包工具也只能获取到nginx服务器的ip地址(没有基点)。
负载均衡
安全配置
使用Nginx搭建API接口网关,解决网站跨域问题
实现网站静态资源和动态资源分离
实现防止DDOS(流量攻击)

名词解释

四层负载均衡

运行在运输层,常使用TCP协议

七层负载均衡

运行在应用层,常使用Http协议

负载均衡

作用: 能够减轻单台服务器的压力,故障转移(重试机制)如果一台服务器宕机了,直接轮询到下一台服务器、健康检查,在nginx中使用upstream配置上游服务器,nginx中

故障转移

如果访问其中一台服务器,发现服务宕机了,或者有延迟,可以配置故障转移直接切换到另一台服务器

### 连接到上游服务器的时间
		proxy_connect_timeout 1s;
		### 发送请求超时时间
 proxy_send_timeout 1s;
		### 接受相应超时时间
 proxy_read_timeout 1s;

动态负载均衡

在upstream中的配置不再是静态的,而是在注册中心上动态拉取配置,达到动态负载均衡的功能。

Nginx + consul + upsync 完成动态负载均衡

 1、安装centos7的基础环境

# 基础命令
 # 安装netstat命令
yum install netstat
 # 查看所有tcp端口使用情况
 netstat -ntlp
 # 查看当前服务进程
 ps -ef 可选:[ | grep nginx]
 # 强制杀死端口对应的程序
 kill -9 pid进程号
 
# 配置yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum update
yum install -y yum-utils device-mapper-persistent-data lvm2
# 安装基本环境
yum install gcc-c++
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel
yum install wget
yum install unzip

2、安装consul (服务注册与发现)

# 下载它的安装包,wget -c 中的 -c 表示断点续传
wget -c https://releases.hashicorp.com/consul/1.8.5/consul_1.8.5_linux_amd64.zip
# 解压压缩包
upzip unzip consul_1.8.5_linux_amd64.zip
# 执行./consul命令,执行后出现 Usage: consul [--version] [--help] <command> [<args>] 这一行以及下面的一些参数则代表这个consul没问题
./consul
# 关闭防火墙
systemctl stop firewalld
# 启动consul,这个ip填写自己计算机的ip,如果是虚拟机就填虚拟机的ip,centos查看ip地址可以用ip addr,window查看ip用 ipconfig
./consul agent -dev -ui -node=consul-dev -client=192.168.254.134
# 当然,也可以使用后台运行的方式,这样子输出的日志回到同级的nohup.out文件中
nohup ./consul agent -dev -ui -node=consul-dev -client=192.168.254.134 &
# 访问consul 的web页面
192.168.254.134:8500

# 查看并关闭consul的后台进程,我这里写的19854是jobs -l查询到的进程pid
jobs -l
kill -9 19854

3、安装nginx 并且为其添加upsync模块

# 下载upsync模块并且将其解压
wget -c https://github.com/weibocom/nginx-upsync-module/archive/master.zip
unzip nginx-upsync-module-master.zip
# 下载nginx
wget -c http://nginx.org/download/nginx-1.9.9.tar.gz
# 解压到当前目录
tar -zxvf nginx-1.9.9.tar.gz
# 配置一个nginx的用户以及用户组,-s /sbin/nologin nginx代表该用户是无法登录到主机的
groupadd nginx
useradd -g nginx -s /sbin/nologin nginx
# 这两个文件夹会在编译nginx时指定
mkdir -p /var/tmp/nginx/client/
mkdir -p /usr/local/nginx
# 进入到nginx的解压后文件夹的目录下
cd nginx-1.9.9 
# 编译 nginx ,--prefix 代表nginx安装的目录。其中指定了用户和用户组,以及上面创建的文件夹并且添加了upsync模块,由于upsync解压在nginx同级目录下,所以这里使用..来指定到它
./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --add-module=../nginx-upsync-module-master
make && make install
## 进入到刚刚nginx安装的目录,也就是/usr/local/nginx目录中,进入conf目录中编辑conf目录的文件内容
upstream myserver {
 server 127.0.0.1:11111;# 这个固定的,不用理
 # springbootserver : key的值,upsync_timeout 超时时间3秒,upsync_interval 间隔时间 ,upsync_type 类型consul,strong_dependency 增强依赖 
 upsync 192.168.254.134:8500/v1/kv/upstreams/springbootserver upsync_timeout=3000ms upsync_interval=500ms upsync_type=consul strong_dependency=off;
 # 将拉取下来的配置文件放在以下配置的目录中 
 upsync_dump_path /usr/local/nginx-1.9.9/conf/upsync_dump.conf;

 }
 # 将server中的location指定为刚刚创建的upstream(上游服务器)
 location / {
 proxy_pass http://myserver;
 index index.html index.htm;
 }
# 进入到sbin目录下,启动nginx
./nginx

4、进行测试

  • 本机启动2个服务,分别为8080和8081,ip地址为192.168.0.116
  • 使用linux命令为consul指定2个key value,192.168.254.134是consul的ip地址
# 使用curl 请求,一定要是put请求
curl -X PUT http://192.168.254.134:8500/v1/kv/upstreams/springbootserver/192.168.0.116:8080

curl -X PUT http://192.168.254.134:8500/v1/kv/upstreams/springbootserver/192.168.0.116:8081

#或者使用postman调用consul提供的api来添加key,value
http://192.168.254.134:8500/v1/kv/upstreams/springbootserver/192.168.0.116:8081

# 甚至可以图形化界面进行操作,手动添加key value,手动添加时注意如果是创建文件夹需要在最后加一个正斜杠 : /

5、在consul图形化页面添加key对应的value来指定负载均衡的算法

{"weight":1, "max_fails":2, "fail_timeout":10, "down":0}

到此这篇关于Nginx + consul + upsync 完成动态负载均衡的文章就介绍到这了,更多相关Nginx + consul + upsync 动态负载均衡内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
Nginx配置80端口访问8080及项目名地址方法解析
Mar 31 Servers
Nginx工作原理和优化总结。
Apr 02 Servers
nginx的zabbix 5.0安装部署的方法步骤
Jul 16 Servers
使用 Apache 反向代理的设置技巧
Jan 18 Servers
Nginx动静分离配置实现与说明
Apr 07 Servers
Tomcat starup.bat 脚本实现开机自启动
Apr 20 Servers
tomcat正常启动但网页却无法访问的几种解决方法
May 06 Servers
Tomcat配置访问日志和线程数
May 06 Servers
Linux服务器离线安装 nginx的详细步骤
Jun 16 Servers
Apache POI操作批量导入MySQL数据库
Jun 21 Servers
nginx之内存池的实现
Jun 28 Servers
Zabbix对Kafka topic积压数据监控的问题(bug优化)
Jul 07 Servers
浅谈Nginx 中的两种限流方式
Mar 31 #Servers
查看nginx配置文件路径和资源文件路径的方法
Mar 31 #Servers
nginx里的rewrite跳转的实现
Mar 31 #Servers
nginx基于域名,端口,不同IP的虚拟主机设置的实现
Mar 31 #Servers
Nginx设置日志打印post请求参数的方法
Mar 31 #Servers
nginx 多个location转发任意请求或访问静态资源文件的实现
nginx简单配置多个server的方法
You might like
PHP5 安装方法
2007/01/15 PHP
PHP中把有符号整型转换为无符号整型方法
2015/05/27 PHP
php限制文件下载速度的代码
2015/10/20 PHP
PHP测试成功的邮件发送案例
2015/10/26 PHP
Smarty模板常见的简单应用分析
2016/11/15 PHP
jQuery实现点击标题输入详细信息
2013/04/16 Javascript
基于javascript、ajax、memcache和PHP实现的简易在线聊天室
2015/02/03 Javascript
基于jQuery实现的无刷新表格分页实例
2016/02/17 Javascript
老生常谈 关于JavaScript的类的继承
2016/06/24 Javascript
浅谈html转义及防止javascript注入攻击的方法
2016/12/04 Javascript
NodeJs安装npm包一直失败的解决方法
2017/04/28 NodeJs
jquery easyui如何实现格式化列
2017/07/30 jQuery
JavaScript创建、读取和删除cookie
2019/09/03 Javascript
解决Angularjs异步操作后台请求用$q.all排列先后顺序问题
2019/11/29 Javascript
JavaScript canvas实现跟随鼠标移动小球
2021/02/09 Javascript
Python验证码识别的方法
2015/07/10 Python
基于python中staticmethod和classmethod的区别(详解)
2017/10/24 Python
Python查看微信撤回消息代码
2018/06/07 Python
使用numpy和PIL进行简单的图像处理方法
2018/07/02 Python
python感知机实现代码
2019/01/18 Python
网易2016研发工程师编程题 奖学金(python)
2019/06/19 Python
linux中如何使用python3获取ip地址
2019/07/15 Python
django drf框架中的user验证以及JWT拓展的介绍
2019/08/12 Python
Python with关键字,上下文管理器,@contextmanager文件操作示例
2019/10/17 Python
香港通票:Hong Kong Pass
2019/02/26 全球购物
C++如何引用一个已经定义过的全局变量
2014/08/25 面试题
Java编程面试题
2016/04/04 面试题
机电一体化大学生求职信
2013/11/08 职场文书
专营店会计助理岗位职责
2013/11/29 职场文书
舞蹈专业大学生职业规划范文
2014/03/12 职场文书
航空学院求职信
2014/06/11 职场文书
求职自我推荐信
2015/03/24 职场文书
国王的演讲观后感
2015/06/03 职场文书
创业计划书之家教托管
2019/09/25 职场文书
Java服务调用RestTemplate与HttpClient的使用详解
2022/06/21 Java/Android
Nginx文件已经存在全局反向代理问题排查记录
2022/07/15 Servers