使用Python机器学习降低静态日志噪声


Posted in Python onSeptember 29, 2018

持续集成(CI)作业可以产生大量的数据。当作业失败时,找出了什么问题可能是一个繁琐的过程,需要对日志进行调查以发现根本原因-这通常是在作业总输出的一小部分中发现的。为了更容易地将最相关的数据从其他数据中分离出来,日志还原机器学习模型使用以前成功的作业运行来训练,以从失败的运行日志中提取异常。
此原则也可应用于其他用例,例如,从期刊或其他系统范围的常规日志文件。

利用机器学习降低噪声

一个典型的日志文件包含许多名义事件(“基线”)以及一些与开发人员相关的异常。基线可能包含难以检测和删除的随机元素,如时间戳或唯一标识符。要删除基线事件,我们可以使用k最近邻模式识别算法 (k-NN)。

使用Python机器学习降低静态日志噪声

的日志事件必须转换为数值。k-NN回归。使用通用特征提取工具HashingVectorizer允许将该进程应用于任何类型的日志。它对每个单词进行散列,并在稀疏矩阵中对每个事件进行编码。为了进一步减少搜索空间,令牌化将删除已知的随机单词,例如日期或IP地址。

使用Python机器学习降低静态日志噪声

一旦模型被训练,k-NN搜索告诉我们每个新事件与基线之间的距离。

使用Python机器学习降低静态日志噪声

Jupyter notebook演示了稀疏矩阵向量的过程,并绘制了稀疏矩阵向量图。

使用Python机器学习降低静态日志噪声

介绍LOGPREIN

LogReallyPython软件透明地实现了这个过程。的最初目标是协助祖尔CI使用构建数据库进行作业失败分析,现在将其集成到软件厂发展锻造的工作日志过程。
最简单的是,LogReduce比较文件或目录,并删除类似的行。Log冷水为每个源文件构建一个模型,并使用以下语法输出距离超过定义阈值的任何目标行:距离文件名:行号:行内容.

$ logreduce varlogauditaudit.log.1 varlogauditaudit.log
INFO logreduce.Classifier - Training took 21.982s at 0.364MBs 1.314kls 8.000 MB - 28.884 kilo-lines
0.244 audit.log:19963:    =USER_AUTH ="root" ="/usr/bin/su" hostname=managesf.sftests.com
INFO logreduce.Classifier - Testing took 18.297s at 0.306MBs 1.094kls 5.607 MB - 20.015 kilo-lines
99.99 reduction from 20015 lines to

更高级的LogReduce使用可以将模型离线训练成可重用的模型。基线的许多变体可以用来适应k-NN搜索树

$ logreduce dir-train audit.clf varlogauditaudit.log.
INFO logreduce.Classifier - Training took 80.883s at 0.396MBs 1.397kls 32.001 MB - 112.977 kilo-lines
DEBUG logreduce.Classifier - audit.clf: written
$ logreduce dir-run audit.clf varlogauditaudit.log

LogReduce还实现了接口,以发现日志时间范围(天/周/月)和Zuul CI作业构建历史记录的基线。它还可以生成HTML报告,在一个简单的接口中发现多个文件中的组异常。

使用Python机器学习降低静态日志噪声

管理基线

使用的关键k-神经网络回归异常检测是有一个已知的良好基线的数据库,该模型用于检测偏离过远的线。该方法依赖于包含所有标称事件的基线,因为基线中没有发现的任何事件都将被报告为异常。

Ci工作是我们的主要目标。k-NN回归,因为作业输出通常是确定性的,以前的运行可以自动用作基线。Log还原功能可以将Zuul作业角色用作失败的作业发布任务的一部分,以便发布简明的报告(而不是完整的作业日志)。这一原则可适用于其他情况,只要可以事先建立基线。例如,一个标称系统的SOS报告可用于查找有缺陷的部署中的问题。

使用Python机器学习降低静态日志噪声

异常分类服务

下一个版本的Logreduce引入了一种服务器模式,用于将日志处理卸载到外部服务,在该服务中可以进一步分析报表。它还支持导入现有的报告和请求来分析Zuul构建。服务运行异步地进行分析,并提供一个Web界面来调整分数和删除假阳性。

使用Python机器学习降低静态日志噪声

评审报告可以作为独立的数据集存档,目标日志文件和记录在平面JSON文件中的异常行的分数。

项目路线图

LogReduce已经被有效地使用了,但是有很多改进工具的机会。今后的计划包括:

  • 管理日志文件中发现的许多带注释的异常,并生成公共域数据集,以便进一步研究。日志文件中的异常检测是一个具有挑战性的主题,拥有一个通用的数据集来测试新的模型将有助于确定新的解决方案。
  • 使用模型重用带注释的异常,以细化所报告的距离。例如,当用户通过将其距离设置为零将行标记为假阳性时,该模型可以减少这些行在未来报告中的得分。
  • 指纹归档异常以检测新的报告何时包含已知的异常。因此,服务可以通知用户作业遇到了已知的问题,而不是报告异常的内容。解决问题后,服务可以自动重新启动作业。
  • 支持更多的目标基线发现接口,如SOS报告、Jenkins构建、Travis CI等。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python交换变量
Sep 06 Python
Python ljust rjust center输出
Sep 06 Python
Python日期操作学习笔记
Oct 07 Python
python构造icmp echo请求和实现网络探测器功能代码分享
Jan 10 Python
Python中实现远程调用(RPC、RMI)简单例子
Apr 28 Python
用Python中的turtle模块画图两只小羊方法
Apr 09 Python
Python之修改图片像素值的方法
Jul 03 Python
python列表插入append(), extend(), insert()用法详解
Sep 14 Python
Pytorch 多块GPU的使用详解
Dec 31 Python
django ListView的使用 ListView中获取url中的参数值方式
Mar 27 Python
Python2.x与3​​.x版本有哪些区别
Jul 09 Python
Python非单向递归函数如何返回全部结果
Dec 18 Python
python实现字符串和字典的转换
Sep 29 #Python
python实现字符串中字符分类及个数统计
Sep 28 #Python
python中使用zip函数出现错误的原因
Sep 28 #Python
python中的for循环
Sep 28 #Python
Django migrations 默认目录修改的方法教程
Sep 28 #Python
python数据结构之线性表的顺序存储结构
Sep 28 #Python
python实现顺序表的简单代码
Sep 28 #Python
You might like
DC漫画《蝙蝠侠和猫女》图透 猫女怀孕老爷当爹
2020/04/09 欧美动漫
php递归使用示例(php递归函数)
2014/02/14 PHP
Codeigniter上传图片出现“You did not select a file to upload”错误解决办法
2014/06/12 PHP
php使用NumberFormatter格式化货币的方法
2015/03/21 PHP
PHP实现的字符串匹配算法示例【sunday算法】
2017/12/19 PHP
判断页面是关闭还是刷新的js代码
2007/01/28 Javascript
js程序中美元符号$是什么
2008/06/05 Javascript
javascript 全角转换实现代码
2009/07/17 Javascript
Js 冒泡事件阻止实现代码
2013/01/27 Javascript
jQuery实现返回顶部功能
2016/02/23 Javascript
jquery对dom节点的操作【推荐】
2016/04/15 Javascript
JS把内容动态插入到DIV的实现方法
2016/07/19 Javascript
bootstrap中使用google prettify让代码高亮的方法
2016/10/21 Javascript
详解JS中的立即执行函数
2017/02/24 Javascript
整理关于Bootstrap排版的慕课笔记
2017/03/29 Javascript
支付宝小程序自定义弹窗dialog插件的实现代码
2018/11/30 Javascript
JavaScript函数式编程(Functional Programming)箭头函数(Arrow functions)用法分析
2019/05/22 Javascript
vue实现图片预览组件封装与使用
2019/07/13 Javascript
vue input标签通用指令校验的实现
2019/11/05 Javascript
pytorch 转换矩阵的维数位置方法
2018/12/08 Python
Python设计模式之迭代器模式原理与用法实例分析
2019/01/10 Python
Python3中的bytes和str类型详解
2019/05/02 Python
Python中的支持向量机SVM的使用(附实例代码)
2019/06/26 Python
python如何实现从视频中提取每秒图片
2020/10/22 Python
python3操作注册表的方法(Url protocol)
2020/02/05 Python
基于python tkinter的点名小程序功能的实例代码
2020/08/22 Python
如何通过python检查文件是否被占用
2020/12/18 Python
html5移动端价格输入键盘的实现
2019/09/16 HTML / CSS
html5 制作地图当前定位箭头的方法示例
2020/01/10 HTML / CSS
C++程序员求职信范文
2014/04/14 职场文书
大学生村官座谈会发言材料
2014/05/25 职场文书
先进工作者申报材料
2014/12/23 职场文书
2015年监理工作总结范文
2015/04/07 职场文书
学习雷锋精神倡议书
2015/04/27 职场文书
利用正则表达式匹配浮点型数据
2022/05/30 Java/Android
移除Selenium中window.navigator.webdriver值
2022/06/10 Python