基于logstash实现日志文件同步elasticsearch


Posted in Python onAugust 06, 2020

引言:

之前博文介绍过了mysql/oracle与ES之间的同步机制。而logstash最初始的日志同步功能还没有介绍。本文就logstash同步日志到ES做下详细解读。

1、目的:

将本地磁盘存储的日志文件同步(全量同步、实时增量同步)到ES中。

基于logstash实现日志文件同步elasticsearch

2、源文件:

[root@5b9dbaaa148a test_log]# ll
-rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh
-rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log
-rw-r--r-- 1 root root 74 Jul 5 08:28 MProbe02.log

3、增量实时同步脚本:

[root@5b9dbaaa148a test_log]# cat logmachine.sh
#!/bin/bash
icnt=0;
while (true)
do
 echo "[debug][20160703-15:00]"$icnt >> MProbe01.log
 echo "[ERROR][20160704-17:00]"$icnt >> MProbe02.log
 icnt=$((icnt+1));
done

4、logstash配置文件:

[root@5b9dbaaa148a logstash_jdbc_test]# cat log_test.conf
input {
 file {
 path=> [ "/usr/local/logstash/bin/test_log/MProbe01.log",
"/usr/local/logstash/bin/test_log/MProbe02.log" ]
 #codec=>multiline {
 # pattern => "^\s"
 # what=>"previous"
 #}
 type=>"probe_log" #类型名称
 # tags=>["XX.XX.XX.XX"]
 }
}

###过滤
#filter{
# grok {
# match => ["message","mailmonitor"]
# add_tag => [mailmonitor]
# }

# grok {
# match => [ "message", "smsmonitor" ]
# add_tag => [smsmonitor]
# }
# ....
#}

###output to es
output {
 elasticsearch {
 hosts => "10.8.5.101:9200"
 index => "mprobe_index"   #索引名称
 #template_name => "mprobelog"
 #document_id => "%{id}"
 }
 stdout { codec => json_lines }
}

5、同步测试:

[root@5b9dbaaa148a bin]# ./logstash -f ./logstash_jdbc_test/log_test.conf
Settings: Default pipeline workers: 24
Pipeline main started
{"message":"[DEbug][20160305-15:35]testing02","@version":"1","@timestamp":"2016-07-05T07:26:08.043Z","path":"/usr/local/logstash/bin/test_log/MProbe01.log","host":"5b9dbaaa148a"

6、结果验证

(1)日志记录:

[root@5b9dbaaa148a test_log]# tail -f MProbe01.log
[DEbug][20160305-15:35]testing02
[DEbug][20160305-15:35]testing01
^C
[root@5b9dbaaa148a test_log]# tail -f MProbe02.log
[DEbug][20160305-15:35]testing02_001
[DEbug][20160305-15:35]testing02_003

(2)ES记录

基于logstash实现日志文件同步elasticsearch

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python合并字符串的3种方法
May 21 Python
python计算圆周率pi的方法
Jul 11 Python
Python3学习笔记之列表方法示例详解
Oct 06 Python
python实现人脸识别代码
Nov 08 Python
python中将一个全部为int的list 转化为str的list方法
Apr 09 Python
python 巧用正则寻找字符串中的特定字符的位置方法
May 02 Python
对python中的 os.mkdir和os.mkdirs详解
Oct 16 Python
Python分支语句与循环语句应用实例分析
May 07 Python
python 动态调用函数实例解析
Oct 21 Python
python selenium 执行完毕关闭chromedriver进程示例
Nov 15 Python
python wxpython 实现界面跳转功能
Dec 17 Python
python爬虫开发之Request模块从安装到详细使用方法与实例全解
Mar 09 Python
如何解决pycharm调试报错的问题
Aug 06 #Python
Python用来做Web开发的优势有哪些
Aug 05 #Python
Python结合Window计划任务监测邮件的示例代码
Aug 05 #Python
python爬虫使用requests发送post请求示例详解
Aug 05 #Python
8种常用的Python工具
Aug 05 #Python
浅析Python 序列化与反序列化
Aug 05 #Python
Python创建临时文件和文件夹
Aug 05 #Python
You might like
php强制下载类型的实现代码
2011/04/21 PHP
PHP 字符串正则替换函数preg_replace使用说明
2011/07/15 PHP
PHP获取数组中某元素的位置及array_keys函数应用
2013/01/29 PHP
PHP抽象类和接口用法实例详解
2019/07/20 PHP
给jQuery方法添加回调函数一款插件的应用
2013/01/21 Javascript
js中页面的重新加载(当前页面/上级页面)及frame或iframe元素引用介绍
2013/01/24 Javascript
三种方式获取XMLHttpRequest对象
2014/04/21 Javascript
jQuery动态效果显示人物结构关系图的方法
2015/05/07 Javascript
详解JavaScript中的客户端消息框架设计原理
2015/06/24 Javascript
javascript运动详解
2015/07/06 Javascript
学习JavaScript鼠标响应事件
2015/12/25 Javascript
location.hash保存页面状态的技巧
2016/04/28 Javascript
JSONP原理及简单实现
2016/06/08 Javascript
js实现随机抽选效果、随机抽选红色球效果
2017/01/13 Javascript
jquery dialog获取焦点的方法
2017/02/09 Javascript
Easyui Tree获取当前选择节点的所有顶级父节点
2017/02/14 Javascript
基于JS实现移动端左滑删除功能
2017/07/28 Javascript
详解AngularJS之$window窗口对象
2018/01/17 Javascript
关于ES6箭头函数中的this问题
2018/02/27 Javascript
Vue项目中添加锁屏功能实现思路
2018/06/29 Javascript
js限制输入框只能输入数字(onkeyup触发)
2018/09/28 Javascript
JS基于Location实现访问Url、重定向及刷新页面的方法分析
2018/12/03 Javascript
js中位数不足自动补位扩展padLeft、padRight实现代码
2020/04/06 Javascript
Python的Flask框架中web表单的教程
2015/04/20 Python
详解Django框架中用context来解析模板的方法
2015/07/20 Python
Python使用pickle模块存储数据报错解决示例代码
2018/01/26 Python
pytorch masked_fill报错的解决
2020/02/18 Python
Python数组并集交集补集代码实例
2020/02/18 Python
python构造IP报文实例
2020/05/05 Python
Python+unittest+requests 接口自动化测试框架搭建教程
2020/10/09 Python
python 将Excel转Word的示例
2021/03/02 Python
世界上最受欢迎的花店:1-800-Flowers.com
2020/06/01 全球购物
校园创业策划书
2014/01/14 职场文书
考试作弊检讨书
2015/01/27 职场文书
语文教师求职信范文
2015/03/20 职场文书
Python中的协程(Coroutine)操作模块(greenlet、gevent)
2022/05/30 Python