阿里云日志过滤器配置日志服务


Posted in Servers onApril 09, 2022

日志收集流程

对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output。

  • Input: 适配各类日志接入源,目前Logtail支持文本文件、Syslog(TCP流式)两种形式数据写入。
  • Process:自定义日志处理逻辑,常见的有:日志切分、日志编码转换、日志结构化解析、日志过滤等等。
  • Output:定义日志输出,例如Logtail以HTTP协议写数据到日志服务。

今天要介绍Logtail在日志处理阶段的两个新功能:转码、过滤

日志转码

日志服务限制数据的字符编码为UTF-8,这也是Logtail在发送数据阶段对于字符编码的要求。

但可能一些较老的应用组件在处理中文的时候,会打印GBK编码的数据到日志文件。

这种情况下,你可以在Logtail配置的高级选项中,选择日志文件编码为”GBK“。那么,Logtail在采集日志时,会对日志内容先做GBK到UTF-8的编码转换,再进行后续处理。

Logtail目前支可以支持UTF-8和GBK两种文件编码格式。对于GBK格式,Logtail使用Linux系统的iconv API,编码转换过程中会额外消耗机器计算资源。

问:如何判断我的GBK日志文件是否可以通过Logtail收集?
答:在Linux Shell下使用iconv命令进行转码测试,假设日志文件名为gbk.log,执行命令:

iconv -f GBK -t UTF-8 gbk.log -o gbk_to_utf8.log

如果执行成功则说明文件编码是GBK;如执行失败(类似iconv: illegal input sequence at position 2743错误),则说明文件不是合法的GBK编码,无法通过Logtail做编码转换,请尝试调整应用输出的日志文件编码格式为UTF-8。

日志过滤

举一个web服务器的例子,Nginx每时每刻接收大量请求,并在access.log记录这些请求:

10.200.98.220 - - [25/May/2016:14:55:42 +0800] "HEAD sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 200 37 "-" "aliyun-sdk-java" 13605
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "POST sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 404 37 "-" "ali-log-logtail" 13608
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 401 37 "-" "aliyun-sdk-java" 13609
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 502 37 "-" "aliyun-sdk-java" 13610
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "GET sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 401 37 "-" "cpp-sdk-0.6" 13612
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "PUT sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 400 37 "-" "cpp-sdk-0.6" 13614
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "POST sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 400 37 "-" "ali-log-logtail" 13615
10.200.98.220 - - [25/May/2016:14:55:42 +0800] "HEAD sls-pub.alibaba-inc.com/projects/ali-cn-hangzhou-sls-admin/logstores HTTP/1.1" 0.024 18204 200 37 "-" "cpp-sdk-0.6" 13616

对于问题调查的场景,HTTP 200请求的日志量通常是巨大的,如果我们希望降低日志存储的成本,只上传发生异常的请求日志,应该怎么来做呢?

在今天,你可以打开Logtail配置的高级选项,设置过滤器来解决数据过滤的问题。

阿里云日志过滤器配置日志服务

如上图所示,分别对url字段和status字段设置了两个过滤器。指定字段Key存在且Value符合正则表达式的日志会被保留。

定义多个过滤器的时候,判断条件是“与”的关系,满足所有过滤器设置的日志是合法的,否则被丢弃。

对于一条日志,当url字段与"(POSTs.)|(GETs.)"匹配成功且status字段与"[345]d+"匹配成功的时候(只采集POST、GET请求且状态码非200的日志),Logtail将该日志上传至日志服务,如下图所示:

阿里云日志过滤器配置日志服务

如果设置过滤器的字段名在日志里找不到,那么这条日志也是不合法的,需要被丢弃。默认情况下,用户没有任何过滤器设置的情况下,所有被Logtail读取并解析成功的日志数据都会写入日志服务。

实例配置:

阿里云日志过滤器配置日志服务

阿里云日志过滤器配置日志服务

只收集匹配到 topic  为  action 或者 plugin 的日志 

Servers 相关文章推荐
nginx处理http请求实现过程解析
Mar 31 Servers
Filebeat 采集 Nginx 日志的方法
Mar 31 Servers
深入解析Apache Hudi内核文件标记机制
Mar 31 Servers
OpenStack虚拟机快照和增量备份实现方法
Apr 04 Servers
Nginx速查手册及常见问题
Apr 07 Servers
项目中Nginx多级代理是如何获取客户端的真实IP地址
May 30 Servers
linux目录管理方法介绍
Jun 01 Servers
win10+RTX3050ti+TensorFlow+cudn+cudnn配置深度学习环境的方法
Jun 25 Servers
nginx之queue的具体使用
Jun 28 Servers
Linux安装Docker详细教程
Jul 07 Servers
彻底卸载VMware虚拟机的超详细步骤记录
Jul 15 Servers
CentOS7设置ssh服务以及端口修改方式
Dec 24 Servers
阿里云k8s服务升级时502错误 springboot项目应用
Apr 09 #Servers
Consul在linux环境的集群部署
nginx.conf配置文件结构小结
docker-compose部署Yapi的方法
Apr 08 #Servers
Nginx隐藏式跳转(浏览器URL跳转后保持不变)
Apr 07 #Servers
Nginx动静分离配置实现与说明
Nginx禁止ip访问或非法域名访问
Apr 07 #Servers
You might like
Linux fgetcsv取得的数组元素为空字符串的解决方法
2011/11/25 PHP
PHP实现的简单三角形、矩形周长面积计算器分享
2014/11/18 PHP
Yii的Srbac插件用法详解
2016/07/14 PHP
PHP简单判断手机设备的方法
2016/08/23 PHP
Js中sort()方法的用法
2006/11/04 Javascript
CSS常用网站布局实例
2008/04/03 Javascript
js作用域及作用域链概念理解及使用
2013/04/15 Javascript
自己动手制作基于jQuery的Web页面加载进度条插件
2016/06/03 Javascript
javascript如何创建对象
2016/08/29 Javascript
JS判断来路是否是百度等搜索索引进行弹窗或自动跳转的实现代码
2016/10/09 Javascript
微信小程序-消息提示框实例
2016/11/24 Javascript
bootstrap输入框组使用方法
2017/02/07 Javascript
Vue页面骨架屏注入方法
2018/05/13 Javascript
微信js-sdk 录音功能的示例代码
2019/11/01 Javascript
小程序跨页面交互的作用与方法详解
2020/01/07 Javascript
安装多版本Vue-CLI的实现方法
2020/03/24 Javascript
python简单文本处理的方法
2015/07/10 Python
Python编程之列表操作实例详解【创建、使用、更新、删除】
2017/07/22 Python
对变量赋值的理解--Pyton中让两个值互换的实现方法
2017/11/29 Python
将Python字符串生成PDF的实例代码详解
2019/05/17 Python
python多进程读图提取特征存npy
2019/05/21 Python
一文了解Python并发编程的工程实现方法
2019/05/31 Python
Python中生成一个指定长度的随机字符串实现示例
2019/11/06 Python
Windows10下Tensorflow2.0 安装及环境配置教程(图文)
2019/11/21 Python
python isinstance函数用法详解
2020/02/13 Python
在python中实现求输出1-3+5-7+9-......101的和
2020/04/02 Python
python模拟点击在ios中实现的实例讲解
2020/11/26 Python
利用CSS3动画实现圆圈由小变大向外扩散的效果实例
2018/09/10 HTML / CSS
CSS3 按钮边框动画的实现
2020/11/12 HTML / CSS
解释DataSet(ds) 和 ds as DataSet 的含义
2014/07/27 面试题
商务英语专业求职信
2014/06/26 职场文书
个人房屋买卖协议书(范本)
2014/10/04 职场文书
财产分割协议书
2016/03/22 职场文书
深度学习tensorflow基础mnist
2021/04/14 Python
详解vue中v-for的key唯一性
2021/05/15 Vue.js
Go获取两个时区的时间差
2022/04/20 Golang