如何让你的Nginx支持分布式追踪详解


Posted in Servers onJuly 07, 2022

Background

NGINX 是一个通用且流行的应用程序。也是最流行的 Web 服务器,它可用于提供静态文件内容,但也通常与其他服务一起用作分布式系统中的组件,在其中它用作反向代理、负载均衡 或 API 网关。

分布式追踪 distributed tracing 是一种可用于分析与监控应用程序的机制,将追踪在从源到目的的整个过程中的单个请求,这与仅通过单个应用程序域来追踪请求的形式不同。

换句话说,我们可以说分布式追踪是对跨多个系统的多个请求的拼接。拼接通常由一个或多个相关 ID 完成,并且跟踪通常是一组记录的、跨所有系统的结构化日志事件,存储在一个中心位置。

在这种背景的情况下, OpenTracing 应运而生。OpenTracing 是一个与应用供应商无关的 API,它可帮助开发人员轻松地跟踪单一请求的域。目前有多种开源产品都支持 OpenTracing(例如,Jaeger, skywalking 等),并将其作为一种检测分布式追踪的标准化方法。

本文将围绕,从0到1实现在nginx配置分布式追踪的架构的简单实例说明。本文实例使用的组件为

  • nginx-1.22
  • jaeger-all-in-on v1.38
  • nginx-opentracing v1.22
  • jaeger-client-cpp v0.9

源码构建nginx-opentracing

准备nginx-opentracing

nginx-opentracing 仓库中可以看到,官方为每个nginx版本都提供了一个编译好的动态库(Nginx1.19.13+),我们可以直接拿来使用这个动态库,如果你想将这个利用Nginx 提供的编译参数 --add-module=/path/to/module 构建为nginx的内置功能的话,可能会出现一些问题,例如下面的一些错误:

ngx_http_opentracing_module.so/config was found
/root/nginx-opentracing-0.25.0/opentracing//src/ngx_http_opentracing_module.cpp
In file included from /root/nginx-opentracing-0.25.0/opentracing//src/ngx_http_opentracing_module.cpp:1:0:
/root/nginx-opentracing-0.25.0/opentracing//src/load_tracer.h:3:38: fatal error: opentracing/dynamic_load.h: No such file or directory

根据 issue 中查询得知 nginx-opentracing 需要嵌入到nginx中,是需要一些 opentracing-cpp 因为对c++不熟,尝试调试很久还是上面的错误,故直接使用了官方提供的动态库。

准备jaeger-client-cpp

根据 nginx-opentracing 中提到的,还需要一个 jaeger-client-cpptracer 才可以正常运行(这也是作为jaeger架构中的角色)

来到 jaeger-client-cpp 看到Release提供的编译好的动态库已经很久了,而最新版都没有提供相应编译的版本,需要我们自己编译

说明: 编译依赖CMake 3.3+,gcc 4.9.2+

我们的编译环境使用CentOS 7 默认gcc与CMake都符合要求需要自行编译两个的版本。

编译gcc

gcc下载地址:https://ftp.gnu.org/gnu/gcc/

cd gcc-5.4.0
./contrib/download_prerequisites

mkdir gcc-build-5.4.0
cd gcc-build-5.4.0

/usr/local/src/gcc-5.4.0/configure \
	--enable-checking=release \
	--enable-languages=c,c++ \
	--disable-multilib
	
make && make install

引用处理 refer 1

cd /usr/bin/
mv gcc gcc_back
mv g++ g++_back
ln -s /usr/local/bin/gcc gcc
ln -s /usr/local/bin/g++ g++

编译时遇到几个问题

/lib64/libstdc++.so.6: version GLIBCXX_3.4.20' not found

gcc 编译,libgcc动态库有改动,恢复原状即可

configure: error: C++ compiler missing or inoperational

make[2]: \*** [configure-stage1-libcpp] Error 1    
make[2]: Leaving directory `/home/clay/programming/C++/gcc-4.8.1'    
make[1]: \*** [stage1-bubble] Error 2    
make[1]: Leaving directory `/home/clay/programming/C++/gcc-4.8.1'    
make: \*** [all] Error 2

编译cmake

./configure --prefix=/path/to/app

make
make install

这里遇到一个小问题 编译过程中遇到 [libstdc++.so.6: version GLIBCXX_3.4.20 not found

因为这里使用了自己编译的gcc版本,需要指定下动态库的路径 refer 2

LD_LIBRARY_PATH=/usr/local/lib64 ./configure --prefix=/usr/local/cmake

编译jaeger-client-cpp

这里根据官方提供的步骤操作即可

cd jaeger-client-cpp-0.9.0/
mkdir build
cd build
# 这里建议使用下强国特色上网,编译过程中会使用Hunter自动下载所需的依赖项
ALL_PROXY=http://x.0.0.x:10811 /usr/local/cmake/bin/cmake .. 
make

注:依赖项挺大的,下载时间可能很长,会hang主,只需等待结束即可

​编译完成后 libjaegertracing.so.0.9.0 则是我们需要的

编译nginx

./configure \
	--user=web_www \
	--group=web_www \
	--with-pcre \
	--with-compat \
	--with-http_ssl_module  \
	--with-http_gzip_static_module \
	--prefix=/root/nginx  \
	--with-http_stub_status_module

--with-compat 必须加上,表面允许使用动态库,否则编译完在启动时会报下面的错误

nginx: [emerg] module "/root/nginx/conf/ngx_http_opentracing_module.so" is not binary compatible in /root/nginx/conf/nginx.conf:1

遇到的问题,cc nou found,这里只需将 gcc 软连接一份为 cc 即可

配置nginx

准备jaeger-client的配置

jaeger.json

{
  "service_name": "nginx", // 服务名
  "sampler": {
    "type": "const",
    "param": 1
  },
  "reporter": {
    "localAgentHostPort": "jaeger:6831" // jaeger agent的地址
  },
  "headers": { // jaeger的默认的jaeger Baggage头设置
    "jaegerDebugHeader": "jaeger-debug-id",
    "jaegerBaggageHeader": "jaeger-baggage",
    "traceBaggageHeaderPrefix": "uberctx-"
  },
  "baggage_restrictions": {
    "denyBaggageOnInitializationFailure": false,
    "hostPort": ""
  }
}

在nginx中开启opentracing

# 加载 OpenTracing 动态模块。
load_module conf/ngx_http_opentracing_module.so;
worker_processes  1;
user root root;

events {
    worker_connections  1024;
}
http {
    log_format opentracing '{"timestamp":"$time_iso8601",'
                       '"source":"$server_addr",'
                       '"hostname":"$hostname",'
                       '"ip":"$http_x_forwarded_for",'
                       '"traceID":"$opentracing_context_uber_trace_id",'
                       '"client":"$remote_addr",'
                       '"request_method":"$request_method",'
                       '"scheme":"$scheme",'
                       '"domain":"$server_name",'
                       '"referer":"$http_referer",'
                       '"request":"$request_uri",'
                       '"args":"$args",'
                       '"size":$body_bytes_sent,'
                       '"status": $status,'
                       '"responsetime":$request_time,'
                       '"upstreamtime":"$upstream_response_time",'
                       '"upstreamaddr":"$upstream_addr",'
                       '"http_user_agent":"$http_user_agent",'
                       '"https":"$https"'
                       '}';
	# 加载 tracer,这里使用的jaeger,需要传递配置文件
    opentracing_load_tracer conf/libjaegertracing.so conf/jaeger.json;
    # 启用 tracing 
    opentracing on; 
    # 设置tag,可选参数
    opentracing_tag http_user_agent $http_user_agent;
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    server {
        listen       80;
        server_name  localhost;
        location / {
            opentracing_operation_name $uri;
	    opentracing_propagate_context;
            root   html;
            index  index.html index.htm;
        }
	access_log logs/access.log opentracing;
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

注:这里使用的 opentracing-nginx 的动态库为 ot16 ,linux-amd64-nginx-1.22.0-ot16-ngx_http_module.so.tgz ,另外一个版本不兼容,-t 检查语法时会提示

此时我们可以在jaeger上查看,可以看到 NGINX 的 span(因为这里只配置了NGINX,没有配置更多的后端)。

如何让你的Nginx支持分布式追踪详解

如何让你的Nginx支持分布式追踪详解

Reference

1 CentOS7 升级 GCC 到 5.4.0 版本

2 libstdc++.so.6: version GLIBCXX_3.4.20 not found

3 nginx load_module

总结

到此这篇关于如何让你的Nginx支持分布式追踪的文章就介绍到这了,更多相关Nginx支持分布式追踪内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!


Tags in this post...

Servers 相关文章推荐
nginx网站服务如何配置防盗链(推荐)
Mar 31 Servers
Nginx配置并兼容HTTP实现代码解析
Mar 31 Servers
Nginx代理同域名前后端分离项目的完整步骤
Mar 31 Servers
Nginx反爬虫策略,防止UA抓取网站
Mar 31 Servers
Nginx反向代理配置的全过程记录
Jun 22 Servers
nginx.conf配置文件结构小结
Apr 08 Servers
Tomcat执行startup.bat出现闪退的原因及解决办法
Apr 20 Servers
Window server 2012 R2 AD域的组策略相关设置
Apr 28 Servers
配置nginx负载均衡
May 06 Servers
ubuntu下常用apt命令介绍
Jun 05 Servers
vscode内网访问服务器的方法
Jun 28 Servers
Valheim服务器 Mod修改安装教程 【ValheimPlus】
Dec 24 Servers
Zabbix对Kafka topic积压数据监控的解决方案
Zabbix对Kafka topic积压数据监控的问题(bug优化)
nginx静态资源的服务器配置方法
Jul 07 #Servers
Nginx配置使用详解
nginx代理实现静态资源访问的示例代码
Jul 07 #Servers
使用 DataAnt 监控 Apache APISIX的原理解析
设置IIS Express并发数
You might like
PHP读取数据库并按照中文名称进行排序实现代码
2013/01/29 PHP
PHP制作万年历
2015/01/07 PHP
ajax+php实现无刷新验证手机号的实例
2017/12/22 PHP
PHP 布尔值的自增与自减的实现方法
2018/05/03 PHP
PHP日志LOG类定义与用法示例
2018/09/06 PHP
实例说明js脚本语言和php脚本语言的区别
2019/04/04 PHP
jQuery对象和DOM对象使用说明
2010/06/25 Javascript
JQuery入门—编写一个简单的JQuery应用案例
2013/01/03 Javascript
jQuery Masonry瀑布流插件使用详解
2014/11/17 Javascript
javascript实现倒计时(精确到秒)
2015/06/26 Javascript
jQuery 更改checkbox的状态,无效的解决方法
2016/07/22 Javascript
使用JavaScript根据图片获取条形码的方法
2017/07/04 Javascript
JavaScript判断变量名是否存在数组中的实例
2017/12/28 Javascript
浅谈Vue路由快照实现思路及其问题
2018/06/07 Javascript
koa大型web项目中使用路由装饰器的方法示例
2019/04/02 Javascript
js 将多个对象合并成一个对象 assign方法的实现
2020/09/24 Javascript
Python网络爬虫中的同步与异步示例详解
2018/02/03 Python
python实现Windows电脑定时关机
2018/06/20 Python
Python爬虫之正则表达式基本用法实例分析
2018/08/08 Python
python使用selenium实现批量文件下载
2019/03/11 Python
python求最大值最小值方法总结
2019/06/25 Python
python Pillow图像处理方法汇总
2019/10/16 Python
python与pycharm有何区别
2020/07/01 Python
关于Python字符编码与二进制不得不说的一些事
2020/10/04 Python
Bulk Powders意大利:运动补充在线商店
2019/02/09 全球购物
西雅图电动自行车公司:Rad Power Bikes
2020/02/02 全球购物
北京某公司的.net笔试题
2014/03/20 面试题
实习自我鉴定模板
2013/09/28 职场文书
预备党员转正思想汇报
2014/01/12 职场文书
小学生美德少年事迹
2014/02/02 职场文书
经典的毕业生自荐信范文
2014/04/14 职场文书
简单的辞职信范文(2016最新版)
2015/05/12 职场文书
领导离职感言
2015/08/03 职场文书
《角的初步认识》教学反思
2016/02/17 职场文书
用基于python的appium爬取b站直播消费记录
2021/04/17 Python
python使用pycharm安装pyqt5以及相关配置
2022/04/22 Python