基于logstash实现日志文件同步elasticsearch


Posted in Python onAugust 06, 2020

引言:

之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。

1、目的:

将本地磁盘存储的日志文件同步(全量同步、实时增量同步)到ES中。

基于logstash实现日志文件同步elasticsearch

2、源文件:

[root@5b9dbaaa148a test_log]# ll
-rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh
-rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log
-rw-r--r-- 1 root root 74 Jul 5 08:28 MProbe02.log

3、增量实时同步脚本:

[root@5b9dbaaa148a test_log]# cat logmachine.sh
#!/bin/bash
icnt=0;
while (true)
do
 echo "[debug][20160703-15:00]"$icnt >> MProbe01.log
 echo "[ERROR][20160704-17:00]"$icnt >> MProbe02.log
 icnt=$((icnt+1));
done

4、logstash配置文件:

[root@5b9dbaaa148a logstash_jdbc_test]# cat log_test.conf
input {
 file {
 path=> [ "/usr/local/logstash/bin/test_log/MProbe01.log",
"/usr/local/logstash/bin/test_log/MProbe02.log" ]
 #codec=>multiline {
 # pattern => "^\s"
 # what=>"previous"
 #}
 type=>"probe_log" #类型名称
 # tags=>["XX.XX.XX.XX"]
 }
}

###过滤
#filter{
# grok {
# match => ["message","mailmonitor"]
# add_tag => [mailmonitor]
# }

# grok {
# match => [ "message", "smsmonitor" ]
# add_tag => [smsmonitor]
# }
# ....
#}

###output to es
output {
 elasticsearch {
 hosts => "10.8.5.101:9200"
 index => "mprobe_index"   #索引名称
 #template_name => "mprobelog"
 #document_id => "%{id}"
 }
 stdout { codec => json_lines }
}

5、同步测试:

[root@5b9dbaaa148a bin]# ./logstash -f ./logstash_jdbc_test/log_test.conf
Settings: Default pipeline workers: 24
Pipeline main started
{"message":"[DEbug][20160305-15:35]testing02","@version":"1","@timestamp":"2016-07-05T07:26:08.043Z","path":"/usr/local/logstash/bin/test_log/MProbe01.log","host":"5b9dbaaa148a"

6、结果验证

(1)日志记录:

[root@5b9dbaaa148a test_log]# tail -f MProbe01.log
[DEbug][20160305-15:35]testing02
[DEbug][20160305-15:35]testing01
^C
[root@5b9dbaaa148a test_log]# tail -f MProbe02.log
[DEbug][20160305-15:35]testing02_001
[DEbug][20160305-15:35]testing02_003

(2)ES记录

基于logstash实现日志文件同步elasticsearch

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
比较详细Python正则表达式操作指南(re使用)
Sep 06 Python
Python之py2exe打包工具详解
Jun 14 Python
Python自动化运维_文件内容差异对比分析
Dec 13 Python
python查看模块安装位置的方法
Oct 16 Python
Python操作mongodb数据库的方法详解
Dec 08 Python
python3实现指定目录下文件sha256及文件大小统计
Feb 25 Python
python远程连接MySQL数据库
Apr 19 Python
Django集成CAS单点登录的方法示例
Jun 10 Python
Python图片处理模块PIL操作方法(pillow)
Apr 07 Python
详解pycharm2020.1.1专业版安装指南(推荐)
Aug 07 Python
如何在Python中创建二叉树
Mar 30 Python
方法汇总:Python 安装第三方库常用
Apr 26 Python
如何解决pycharm调试报错的问题
Aug 06 #Python
Python用来做Web开发的优势有哪些
Aug 05 #Python
Python结合Window计划任务监测邮件的示例代码
Aug 05 #Python
python爬虫使用requests发送post请求示例详解
Aug 05 #Python
8种常用的Python工具
Aug 05 #Python
浅析Python 序列化与反序列化
Aug 05 #Python
Python创建临时文件和文件夹
Aug 05 #Python
You might like
关于PHP5 Session生命周期介绍
2010/03/02 PHP
php验证邮箱和ip地址最简单方法汇总
2015/10/30 PHP
php文件上传类完整实例
2016/05/14 PHP
基于PHP实现数据分页显示功能
2016/05/26 PHP
Laravel框架中自定义模板指令总结
2017/12/17 PHP
PHP学习记录之常用的魔术常量详解
2019/12/12 PHP
php 中的信号处理操作实例详解
2020/03/04 PHP
tp5框架前台无限极导航菜单类实现方法分析
2020/03/29 PHP
使用JQUERY Tabs插件宿主IFRAMES
2010/01/01 Javascript
一个简单的Ext.XTemplate的实例代码
2012/03/18 Javascript
Ajax执行顺序流程及回调问题分析
2012/12/10 Javascript
多个js与css文件的合并方法详细说明
2012/12/26 Javascript
javascript动态添加样式(行内式/嵌入式/外链式等规则)
2013/06/24 Javascript
js换图片效果可进行定时操作
2014/06/09 Javascript
基于JQuery实现图片上传预览与删除操作
2016/05/24 Javascript
Vue方法与事件处理器详解
2016/12/01 Javascript
jQuery解析返回的xml和json方法详解
2017/01/05 Javascript
Vue-resource拦截器判断token失效跳转的实例
2017/10/27 Javascript
vue使用localStorage保存登录信息 适用于移动端、PC端
2019/05/27 Javascript
如何自定义微信小程序tabbar上边框的颜色
2019/07/09 Javascript
[03:39]2015国际邀请赛主赛事首日精彩回顾
2015/08/05 DOTA
Python pickle类库介绍(对象序列化和反序列化)
2014/11/21 Python
Python中生成器和yield语句的用法详解
2015/04/17 Python
可能是最全面的 Python 字符串拼接总结【收藏】
2018/07/09 Python
Python中的枚举类型示例介绍
2019/01/09 Python
python用match()函数爬数据方法详解
2019/07/23 Python
NumPy中的维度Axis详解
2019/11/26 Python
Brookstone美国官网:独特新奇产品
2017/03/04 全球购物
美国名表在线商城:Ashford(支持中文)
2019/09/24 全球购物
业务副厂长岗位职责
2014/01/03 职场文书
淘宝店铺营销方案
2014/02/13 职场文书
让生命充满爱演讲稿
2014/05/10 职场文书
2015年领导干部廉洁自律工作总结
2015/05/26 职场文书
pandas提升计算效率的一些方法汇总
2021/05/30 Python
mysql联合索引的使用规则
2021/06/23 MySQL
delete in子查询不走索引问题分析
2022/07/07 MySQL