Nginx反向代理至go-fastdfs案例讲解


Posted in Servers onAugust 02, 2021

背景

go-fastdfs是支持http协议的一款分布式文件系统,在一般的项目中,很少是直接将文件系统的地址暴露出来的,大多数都会通过nginx等软件进行反代过去,由于我司的业务和网络环境场景相对特殊,由公网部分(公有云)和内网部分(私有云)组成的混合云网络体系,公有云主要就是作为一个出口和入口以及运行一些审计认证等应用,对上游请求进行处理,从而减少私有云的处理次数,提升性能。那么也正是因为这样,在公网的环境下,要访问到私有云提供的服务则必须使用反向代理。同样道理,对于文件系统的访问也如此,如何在nginx中进行配置才能使得外部的网络请求可以反向代理到go-fastdfs呢?本文将逐步阐述。

一般配置

在一般的情况下,熟悉nginx的朋友都知道,如果需要配置反向代理,直接写一个location上下文和proxy模块即可,如果需要自定义前缀,使用一个rewrite模块即可。简单例子如下:

location ~ /dfs/group([0-9]) {
	proxy_pass http://localhost:8080;
	rewrite ^/dfs/(.*)$ /$1 break;
	proxy_set_header Host $host:$server_port;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}

到这里,一般的反代配置就算是可以了,那么对于go-fastdfs而言是否可以了呢?对于go-fastdfs一般上传是可以了,但是呢,对于使用了tus做断点续传还是不够,为什么呢?因为tus服务端会返回301重定向,并且需要携带一定的请求头过去,所以还需要特别的设置一下。

支持Tus的反代配置

如果需要做tus的反代,要支持301重定向Location的重写还要支持一定的请求头转发,那该如何配置呢?请参考下面的配置

l

ocation ~ /dfs1/group([0-9]) {
	access_log logs/dfs/access.log main;
	error_log logs/dfs/error.log error;
	rewrite ^/dfs1/(.*)$ /$1 break;
	proxy_pass http://localhost:8051;
	# Disable request and response buffering
	proxy_request_buffering off;
	proxy_buffering off;
	proxy_http_version 1.1;
	proxy_set_header Host $host:$server_port;
	proxy_set_header X-Real-IP $remote_addr;
	proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
	# 如果server_name不是公网域名,这个地方可以设置成ip
	proxy_set_header X-Forwarded-Host $hostname;
	proxy_set_header X-Forwarded-Proto $scheme;
	proxy_set_header Upgrade $http_upgrade;
	proxy_set_header Connection "upgrade";
	# 因为使用了前缀加rewrite,所以要修改返回的Location加上反向代理的前缀
	proxy_redirect ~^(.*)/group([0-9])/big/upload/(.*) /dfs/group$2/big/upload/$3;
	client_max_body_size 0;
}

上面要注意一下就是proxy_redirect和client_max_body_size这两个配置,第一个配置是因为tus服务端返回的重定向Location是不会携带自定义前缀的,因此需要自己加入自定义的前缀,我这里是/dfs,如果是别的,更换下就好。第二个就是client_max_body_size了,这个是设置为0表示不管上传多大的文件都不会报request too large的问题,直接转发过去,如果需要设置,那么请设置大于等于chunkSize的数字。什么是chunkSize?就是tus客户端分块上传的时候,每一块的大小,具体请参考官方文档。

负载均衡配置

在配置了集群服务器的情况下,上传或者下载如何进行负载均衡呢?使用nginx做了反代,配合upstream模块就可以实现了,具体参考如下配置

upstream dfs_stream {
	server host1:port;
	server host2:port;
	ip_hash;
}

上面的配置和一般的负载均衡没有什么不一样,唯一要注意的是要配置ip_hash,为什么呢?因为使用断点续传的时候,文件是分块上传的,如果不是ip_hash的话,有可能会前面几片被上传到A服务器,后面几片被上传到B服务器,那么这样子文件就不是完整的了,因此需要注意这个问题。

 

到此这篇关于Nginx反向代理至go-fastdfs案例讲解的文章就介绍到这了,更多相关Nginx反向代理至go-fastdfs内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
nginx配置ssl实现https的方法示例
Mar 31 Servers
nginx对http请求处理的各个阶段详析
Mar 31 Servers
Nginx 过滤静态资源文件的访问日志的实现
Mar 31 Servers
解析在浏览器地址栏输入一个URL后发生了什么
Jun 21 Servers
阿里云k8s服务升级时502错误 springboot项目应用
Apr 09 Servers
Windows Server 2019 安装DHCP服务及相关配置
Apr 28 Servers
Tomcat配置访问日志和线程数
May 06 Servers
nginx 添加http_stub_status_module模块
May 25 Servers
Linux下搭建SFTP服务器的命令详解
Jun 25 Servers
git stash(储藏)的用法总结
Jun 25 Servers
vscode内网访问服务器的方法
Jun 28 Servers
win10搭建配置ftp服务器的方法
Aug 05 Servers
Nginx配置之实现多台服务器负载均衡
Aug 02 #Servers
nginx服务器的下载安装与使用详解
Aug 02 #Servers
nginx反向代理配置去除前缀案例教程
Jul 26 #Servers
nginx结合openssl实现https的方法
nginx配置虚拟主机的详细步骤
nginx的zabbix 5.0安装部署的方法步骤
nginx请求限制配置方法
You might like
CodeIgniter图像处理类的深入解析
2013/06/17 PHP
ThinkPHP空模块和空操作详解
2014/06/30 PHP
php修改指定文件后缀的方法
2014/09/11 PHP
php计算到指定日期还有多少天的方法
2015/04/14 PHP
PHP中Session可能会引起并发问题
2015/06/26 PHP
php array_pop 删除数组最后一个元素实例
2016/11/02 PHP
php注册审核重点解析(数据访问)
2017/05/23 PHP
初识JQuery 实例一(first)
2011/03/16 Javascript
解决Extjs上传图片无法预览的解决方法
2012/03/22 Javascript
javascript当中的代码嗅探扩展原生对象和原型(prototype)
2013/01/11 Javascript
实用的JS正则表达式(手机号码/IP正则/邮编正则/电话等)
2013/01/11 Javascript
JavaScript的原型继承详解
2015/02/15 Javascript
举例讲解如何判断JavaScript中对象的类型
2016/04/22 Javascript
实例分析浏览器中“JavaScript解析器”的工作原理
2016/12/12 Javascript
Vue 父子组件、组件间通信
2017/03/08 Javascript
Angular 2.x学习教程之结构指令详解
2017/05/25 Javascript
使用JQuery实现图片轮播效果的实例(推荐)
2017/10/24 jQuery
深入理解Node module模块
2018/03/26 Javascript
vue项目在安卓低版本机显示空白的原因分析(两种)
2018/09/04 Javascript
微信小程序实现工作时间段选择
2019/02/15 Javascript
vue实现树状表格效果
2020/12/29 Vue.js
Python实现自定义函数的5种常见形式分析
2018/06/16 Python
Python日期时间对象转换为字符串的实例
2018/06/22 Python
Python读取excel中的图片完美解决方法
2018/07/27 Python
Django中日期处理注意事项与自定义时间格式转换详解
2018/08/06 Python
Python 中的lambda函数介绍
2018/10/10 Python
Python面向对象程序设计OOP入门教程【类,实例,继承,重载等】
2019/01/05 Python
wxpython绘制音频效果
2019/11/18 Python
python输入一个水仙花数(三位数) 输出百位十位个位实例
2020/05/03 Python
python利用线程实现多任务
2020/09/18 Python
纯CSS3代码实现switch滑动开关按钮效果
2016/08/30 HTML / CSS
英语专业学子个人的自我评价
2013/10/02 职场文书
企业行政文员岗位职责
2013/12/03 职场文书
空乘英文求职信
2014/04/13 职场文书
求职自荐信范文(优秀篇)
2015/03/27 职场文书
在JavaScript中如何使用宏详解
2021/05/06 Javascript