Python脚本实时处理log文件的方法


Posted in Python onNovember 21, 2016

这个Python脚本是用来对实时文件的内容监控,比如 Error 或者 time out 字段都可以进行自定义;算是我的第一个真正的Python脚本,自己感觉还是比较臃肿,不过打算放到blog上记录一下(还是初学者,大神们勿喷哈),真心希望博友们能够再指点一下(现在记录每次的文件大小值是输出到了一个文件中,并且里面还嵌套了有shell命令,这些我认为都是可以优化掉的吧,只是现在我还不知道怎么做);告警是基于zabbix,自定义的模板是120s执行一次

#!/usr/local/bin/python3.5
###Destription: 实时读取log信息
###Author: Danny Deng
###Datetime: 2016-11-17
import re,time,subprocess,os,linecache
#####定义log文件
file_name = "/usr/local/nginx/logs/error.log"
file_number = "/usr/local/zabbix_agent/number.txt"
j = int(0)
seek = int(0)
##判断过程:文件是否存在---判断存储日志大小的文件是否存在---判断number size 与 filesize的大小
###定义函数按行读取文件内容
def readline():
####if判断 seek是否大于0,大于则赋值,否则初始为0
while True:
######定义文件,根据seek值进行每行读取,每次tell赋值给seek
with open(file_name,'r') as f:
global seek
#seek = seek
f.seek(seek)
data = f.readline()
if data:
seek = f.tell()
yield data
else:
######Python变量转换为shell变量
global file_number
os.environ['seek'] = str(seek)
os.environ['file_number'] = str(file_number)
os.system('echo $seek > $file_number')
os.system('chown zabbix.zabbix $file_number')
return
def func_for():
j = int(0)
for i in readline():
f_find = re.findall(r"check time out", i,flags=re.IGNORECASE)
if "check time out" in f_find:
j += 1
#####没有输出0,有值输出出现error匹配到的次数值
try:
print(j)
except NameError:
print(int("0"))
###判断日志文件是否存在
if os.path.isfile(file_name):
###判断存储文件内容大小的文件是否存在
if os.path.isfile(file_number):
####存在则读取文件size大小,赋值给seek_number
seek_number = int(linecache.getline(file_number, 1))
####然后继续判断存储的文件大小与现在文件大小(确定文件是否是重新生成的)
if os.path.getsize(file_name) >= seek_number and seek_number > 0:
seek = seek_number
func_for()
###若为新文件则,seek 赋值为0
else:
#open(arg1, "a+").write("0")
#seek = int(linecache.getline(file_number, 1))
seek = int(0)
func_for()
####file_number 不存在则新建,并赋值seek变量为0 
else:
#open(file_number, "a+").write("0")
#seek = int(linecache.getline(file_number, 1))
os.environ['file_number'] = str(file_number)
os.system('echo 0 > $file_number')
os.system('chown zabbix.zabbix $file_number')
func_for()
else:
print("Error")
quit()

以上所述是小编给大家介绍的Python脚本实时处理log文件脚本,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python3实现将文件归档到zip文件及从zip文件中读取数据的方法
May 22 Python
Python自动发邮件脚本
Mar 31 Python
Django实现组合搜索的方法示例
Jan 23 Python
python执行系统命令后获取返回值的几种方式集合
May 12 Python
Django使用paginator插件实现翻页功能的实例
Oct 24 Python
对python中的装包与解包实例详解
Aug 24 Python
Python3 字典dictionary入门基础附实例
Feb 10 Python
python生成任意频率正弦波方式
Feb 25 Python
python实现快递价格查询系统
Mar 03 Python
Python BeautifulReport可视化报告代码实例
Apr 13 Python
如何学习Python time模块
Jun 03 Python
如何解决.cuda()加载用时很长的问题
May 24 Python
深入理解 Python 中的多线程 新手必看
Nov 20 #Python
详解python的数字类型变量与其方法
Nov 20 #Python
python中异常报错处理方法汇总
Nov 20 #Python
详解MySQL数据类型int(M)中M的含义
Nov 20 #Python
python制作websocket服务器实例分享
Nov 20 #Python
Flask框架的学习指南之用户登录管理
Nov 20 #Python
Flask框架的学习指南之制作简单blog系统
Nov 20 #Python
You might like
用来解析.htpasswd文件的PHP类
2012/09/05 PHP
php启用zlib压缩文件的配置方法
2013/06/12 PHP
php动态添加url查询参数的方法
2015/04/14 PHP
PHP异步进程助手async-helper
2018/02/05 PHP
基于jquery的一个简单的脚本验证插件
2010/04/05 Javascript
JavaScript让网页出现渐隐渐显背景颜色的方法
2015/04/21 Javascript
JavaScript SweetAlert插件实现超酷消息警告框
2016/01/28 Javascript
javascript实现无法关闭的弹框
2016/11/27 Javascript
浅谈struts1 & jquery form 文件异步上传
2017/05/25 jQuery
Angularjs 实现动态添加控件功能
2017/05/25 Javascript
web前端vue之CSS过渡效果示例
2018/01/10 Javascript
使用Angular CLI生成 Angular 5项目教程详解
2018/03/18 Javascript
angularjs实现table表格td单元格单击变输入框/可编辑状态示例
2019/02/21 Javascript
微信小程序身份证验证方法实现详解
2019/06/28 Javascript
layui 数据表格复选框实现单选功能的例子
2019/09/19 Javascript
python ip正则式
2009/05/07 Python
跟老齐学Python之Import 模块
2014/10/13 Python
Python使用pylab库实现画线功能的方法详解
2017/06/08 Python
把pandas转换int型为str型的方法
2019/01/29 Python
Python检测数据类型的方法总结
2019/05/20 Python
python小项目之五子棋游戏
2019/12/26 Python
python GUI库图形界面开发之PyQt5信号与槽的高级使用技巧(自定义信号与槽)详解与实例
2020/03/06 Python
解决django的template中如果无法引用MEDIA_URL问题
2020/04/07 Python
基于Canvas+Vue的弹幕组件的实现
2019/07/23 HTML / CSS
html svg生成环形进度条的实现方法
2019/09/23 HTML / CSS
美国婴儿用品店:Babies”R”Us
2017/10/12 全球购物
Kathmandu新西兰官网:新西兰户外运动品牌
2019/07/27 全球购物
日本化妆品植村秀俄罗斯官方网站:Shu Uemura俄罗斯
2020/02/01 全球购物
乔迁宴答谢词
2014/01/21 职场文书
2014学雷锋活动心得体会
2014/03/10 职场文书
大学应届毕业生求职信
2014/05/24 职场文书
小学运动会口号
2014/06/07 职场文书
2014年材料员工作总结
2014/11/19 职场文书
2014年仓库管理工作总结
2014/12/17 职场文书
居安思危观后感
2015/06/11 职场文书
导游词之襄阳古城
2019/09/27 职场文书