Nginx反向代理至go-fastdfs案例讲解


Posted in Servers onAugust 02, 2021

背景

go-fastdfs是支持http协议的一款分布式文件系统,在一般的项目中,很少是直接将文件系统的地址暴露出来的,大多数都会通过nginx等软件进行反代过去,由于我司的业务和网络环境场景相对特殊,由公网部分(公有云)和内网部分(私有云)组成的混合云网络体系,公有云主要就是作为一个出口和入口以及运行一些审计认证等应用,对上游请求进行处理,从而减少私有云的处理次数,提升性能。那么也正是因为这样,在公网的环境下,要访问到私有云提供的服务则必须使用反向代理。同样道理,对于文件系统的访问也如此,如何在nginx中进行配置才能使得外部的网络请求可以反向代理到go-fastdfs呢?本文将逐步阐述。

一般配置

在一般的情况下,熟悉nginx的朋友都知道,如果需要配置反向代理,直接写一个location上下文和proxy模块即可,如果需要自定义前缀,使用一个rewrite模块即可。简单例子如下:

location ~ /dfs/group([0-9]) {
	proxy_pass http://localhost:8080;
	rewrite ^/dfs/(.*)$ /$1 break;
	proxy_set_header Host $host:$server_port;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

到这里,一般的反代配置就算是可以了,那么对于go-fastdfs而言是否可以了呢?对于go-fastdfs一般上传是可以了,但是呢,对于使用了tus做断点续传还是不够,为什么呢?因为tus服务端会返回301重定向,并且需要携带一定的请求头过去,所以还需要特别的设置一下。

支持Tus的反代配置

如果需要做tus的反代,要支持301重定向Location的重写还要支持一定的请求头转发,那该如何配置呢?请参考下面的配置

l

ocation ~ /dfs1/group([0-9]) {
	access_log logs/dfs/access.log main;
	error_log logs/dfs/error.log error;
	rewrite ^/dfs1/(.*)$ /$1 break;
	proxy_pass http://localhost:8051;
	# Disable request and response buffering
	proxy_request_buffering off;
	proxy_buffering off;
	proxy_http_version 1.1;
	proxy_set_header Host $host:$server_port;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	# 如果server_name不是公网域名,这个地方可以设置成ip
	proxy_set_header X-Forwarded-Host $hostname;
	proxy_set_header X-Forwarded-Proto $scheme;
	proxy_set_header Upgrade $http_upgrade;
	proxy_set_header Connection "upgrade";
	# 因为使用了前缀加rewrite,所以要修改返回的Location加上反向代理的前缀
	proxy_redirect ~^(.*)/group([0-9])/big/upload/(.*) /dfs/group$2/big/upload/$3;
	client_max_body_size 0;
}

上面要注意一下就是proxy_redirect和client_max_body_size这两个配置,第一个配置是因为tus服务端返回的重定向Location是不会携带自定义前缀的,因此需要自己加入自定义的前缀,我这里是/dfs,如果是别的,更换下就好。第二个就是client_max_body_size了,这个是设置为0表示不管上传多大的文件都不会报request too large的问题,直接转发过去,如果需要设置,那么请设置大于等于chunkSize的数字。什么是chunkSize?就是tus客户端分块上传的时候,每一块的大小,具体请参考官方文档。

负载均衡配置

在配置了集群服务器的情况下,上传或者下载如何进行负载均衡呢?使用nginx做了反代,配合upstream模块就可以实现了,具体参考如下配置

upstream dfs_stream {
	server host1:port;
	server host2:port;
	ip_hash;
}

上面的配置和一般的负载均衡没有什么不一样,唯一要注意的是要配置ip_hash,为什么呢?因为使用断点续传的时候,文件是分块上传的,如果不是ip_hash的话,有可能会前面几片被上传到A服务器,后面几片被上传到B服务器,那么这样子文件就不是完整的了,因此需要注意这个问题。

 

到此这篇关于Nginx反向代理至go-fastdfs案例讲解的文章就介绍到这了,更多相关Nginx反向代理至go-fastdfs内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
nginx优化的六点方法
Mar 31 Servers
Nginx开启Brotli压缩算法实现过程详解
Mar 31 Servers
Windows下使用Nginx+Tomcat做负载均衡的完整步骤
Mar 31 Servers
nginx location优先级的深入讲解
Mar 31 Servers
Nginx配置Https安全认证的实现
May 26 Servers
Apache Hudi数据布局黑科技降低一半查询时间
Mar 31 Servers
阿里云ECS云服务器快照的概念以及如何使用
Apr 21 Servers
Windows Server 2019 安装DHCP服务及相关配置
Apr 28 Servers
tomcat下部署jenkins的方法
May 06 Servers
CentOS7环境下MySQL8常用命令小结
Jun 10 Servers
Win Server2016远程桌面如何允许多用户同时登录
Jun 10 Servers
腾讯云服务器部署前后分离项目之前端部署
Jun 28 Servers
Nginx配置之实现多台服务器负载均衡
Aug 02 #Servers
nginx服务器的下载安装与使用详解
Aug 02 #Servers
nginx反向代理配置去除前缀案例教程
Jul 26 #Servers
nginx结合openssl实现https的方法
nginx配置虚拟主机的详细步骤
nginx的zabbix 5.0安装部署的方法步骤
nginx请求限制配置方法
You might like
php上传文件常见问题总结
2015/02/03 PHP
PHP函数nl2br()与自定义函数nl2p()换行用法分析
2016/04/02 PHP
joomla组件开发入门教程
2016/05/04 PHP
Yii2框架实现登录、退出及自动登录功能的方法详解
2017/10/24 PHP
addEventListener 的用法示例介绍
2014/05/07 Javascript
使用jQuery实现验证上传图片的格式与大小
2014/12/03 Javascript
Javascript中实现trim()函数的两种方法
2015/02/04 Javascript
JavaScript中的fontsize()方法使用详解
2015/06/08 Javascript
js检测用户输入密码强度
2015/10/22 Javascript
使用JavaScript获取Request中参数的值方法
2016/09/27 Javascript
JS实现的系统调色板完整实例
2016/12/21 Javascript
JS二分查找算法详解
2017/11/01 Javascript
Vue使用zTree插件封装树组件操作示例
2019/04/25 Javascript
JS删除String里某个字符的方法
2021/01/06 Javascript
使用js和canvas实现时钟效果
2020/09/08 Javascript
基于ajax实现上传图片代码示例解析
2020/12/03 Javascript
[44:47]Ti4 循环赛第三日 iG vs NaVi
2014/07/12 DOTA
[53:52]OG vs EG 2018国际邀请赛淘汰赛BO3 第二场 8.23
2018/08/24 DOTA
[46:20]CHAOS vs Alliacne 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
[40:19]完美世界DOTA2联赛PWL S3 Rebirth vs CPG 第二场 12.18
2020/12/19 DOTA
python 2.7.13 安装配置方法图文教程
2018/09/18 Python
在Qt5和PyQt5中设置支持高分辨率屏幕自适应的方法
2019/06/18 Python
在Python函数中输入任意数量参数的实例
2019/07/16 Python
Python3 chardet模块查看编码格式的例子
2019/08/14 Python
pytorch实现特殊的Module--Sqeuential三种写法
2020/01/15 Python
面向新手解析python Beautiful Soup基本用法
2020/07/11 Python
CSS3属性box-shadow使用指南
2014/12/09 HTML / CSS
德购商城:德国进口直邮商城
2017/06/13 全球购物
端午节活动策划方案
2014/03/09 职场文书
投标授权委托书范文
2014/08/02 职场文书
机关中层领导干部群众路线教育实践活动个人对照检查材料
2014/09/24 职场文书
期末考试复习计划
2015/01/19 职场文书
幼儿园推普周活动总结
2015/05/07 职场文书
个人催款函范文
2015/06/24 职场文书
大学学生会主席竞选稿
2015/11/19 职场文书
导游词之长城八达岭
2019/09/24 职场文书