基于logstash实现日志文件同步elasticsearch


Posted in Python onAugust 06, 2020

引言:

之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。

1、目的:

将本地磁盘存储的日志文件同步(全量同步、实时增量同步)到ES中。

基于logstash实现日志文件同步elasticsearch

2、源文件:

[root@5b9dbaaa148a test_log]# ll
-rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh
-rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log
-rw-r--r-- 1 root root 74 Jul 5 08:28 MProbe02.log

3、增量实时同步脚本:

[root@5b9dbaaa148a test_log]# cat logmachine.sh
#!/bin/bash
icnt=0;
while (true)
do
 echo "[debug][20160703-15:00]"$icnt >> MProbe01.log
 echo "[ERROR][20160704-17:00]"$icnt >> MProbe02.log
 icnt=$((icnt+1));
done

4、logstash配置文件:

[root@5b9dbaaa148a logstash_jdbc_test]# cat log_test.conf
input {
 file {
 path=> [ "/usr/local/logstash/bin/test_log/MProbe01.log",
"/usr/local/logstash/bin/test_log/MProbe02.log" ]
 #codec=>multiline {
 # pattern => "^\s"
 # what=>"previous"
 #}
 type=>"probe_log" #类型名称
 # tags=>["XX.XX.XX.XX"]
 }
}

###过滤
#filter{
# grok {
# match => ["message","mailmonitor"]
# add_tag => [mailmonitor]
# }

# grok {
# match => [ "message", "smsmonitor" ]
# add_tag => [smsmonitor]
# }
# ....
#}

###output to es
output {
 elasticsearch {
 hosts => "10.8.5.101:9200"
 index => "mprobe_index"   #索引名称
 #template_name => "mprobelog"
 #document_id => "%{id}"
 }
 stdout { codec => json_lines }
}

5、同步测试:

[root@5b9dbaaa148a bin]# ./logstash -f ./logstash_jdbc_test/log_test.conf
Settings: Default pipeline workers: 24
Pipeline main started
{"message":"[DEbug][20160305-15:35]testing02","@version":"1","@timestamp":"2016-07-05T07:26:08.043Z","path":"/usr/local/logstash/bin/test_log/MProbe01.log","host":"5b9dbaaa148a"

6、结果验证

(1)日志记录:

[root@5b9dbaaa148a test_log]# tail -f MProbe01.log
[DEbug][20160305-15:35]testing02
[DEbug][20160305-15:35]testing01
^C
[root@5b9dbaaa148a test_log]# tail -f MProbe02.log
[DEbug][20160305-15:35]testing02_001
[DEbug][20160305-15:35]testing02_003

(2)ES记录

基于logstash实现日志文件同步elasticsearch

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python随机生成数模块random使用实例
Apr 13 Python
深入理解Python中变量赋值的问题
Jan 12 Python
Python中常用的内置方法
Jan 28 Python
让你Python到很爽的加速递归函数的装饰器
May 26 Python
通过PYTHON来实现图像分割详解
Jun 26 Python
Python3中urlencode和urldecode的用法详解
Jul 23 Python
使用selenium和pyquery爬取京东商品列表过程解析
Aug 15 Python
Python netmiko模块的使用
Feb 14 Python
Python写捕鱼达人的游戏实现
Mar 31 Python
python创建文本文件的简单方法
Aug 30 Python
如何使用Python自动生成报表并以邮件发送
Oct 15 Python
python运行脚本文件的三种方法实例
Jun 25 Python
如何解决pycharm调试报错的问题
Aug 06 #Python
Python用来做Web开发的优势有哪些
Aug 05 #Python
Python结合Window计划任务监测邮件的示例代码
Aug 05 #Python
python爬虫使用requests发送post请求示例详解
Aug 05 #Python
8种常用的Python工具
Aug 05 #Python
浅析Python 序列化与反序列化
Aug 05 #Python
Python创建临时文件和文件夹
Aug 05 #Python
You might like
ucenter通信原理分析
2015/01/09 PHP
PHP简单日历实现方法
2016/07/20 PHP
完美兼容IE,chrome,ff的设为首页、加入收藏及保存到桌面js代码
2014/12/17 Javascript
使用jquery 简单实现下拉菜单
2015/01/14 Javascript
Javascript基础教程之switch语句
2015/01/18 Javascript
javascript嵌套函数和在函数内调用外部函数的区别分析
2016/01/31 Javascript
微信 java 实现js-sdk 图片上传下载完整流程
2016/10/21 Javascript
微信小程序 UI布局常用技巧整理总结
2016/12/05 Javascript
关于 jQuery Easyui异步加载tree的问题解析
2016/12/06 Javascript
Node.js环境下Koa2添加travis ci持续集成工具的方法
2017/06/19 Javascript
详解React-Native全球化多语言切换工具库react-native-i18n
2017/11/03 Javascript
JavaScript实现快速排序的方法分析
2018/01/10 Javascript
vue form check 表单验证的实现代码
2018/12/09 Javascript
微信小程序wxs实现吸顶效果
2020/01/08 Javascript
EXTJS7实现点击拖拉选择文本
2020/12/17 Javascript
Python实现在Linux系统下更改当前进程运行用户
2015/02/04 Python
在Django的通用视图中处理Context的方法
2015/07/21 Python
Python3 合并二叉树的实现
2019/09/30 Python
Python基于当前时间批量创建文件
2020/05/07 Python
Keras 中Leaky ReLU等高级激活函数的用法
2020/07/05 Python
Cpython解释器中的GIL全局解释器锁
2020/11/09 Python
python urllib和urllib3知识点总结
2021/02/08 Python
HTML5拍照和摄像机功能实战详解
2019/01/24 HTML / CSS
美国最大的旗帜经销商:Carrot-Top
2018/02/26 全球购物
白俄罗斯大卖场:21vek.by
2019/07/25 全球购物
C#笔试题集合
2013/06/21 面试题
生产部统计员岗位职责
2014/01/05 职场文书
年终总结会议主持词
2014/03/17 职场文书
中学生期中自我鉴定
2014/04/20 职场文书
综合素质自我评价怎么写
2014/09/14 职场文书
学校领导四风问题整改措施思想汇报
2014/10/09 职场文书
招标保密承诺书
2015/01/20 职场文书
2015年社区卫生工作总结
2015/04/21 职场文书
学校开除通知书
2015/04/25 职场文书
我的中国梦心得体会范文
2016/01/05 职场文书
超详细Python解释器新手安装教程
2021/05/10 Python