使用Python机器学习降低静态日志噪声


Posted in Python onSeptember 29, 2018

持续集成(CI)作业可以产生大量的数据。当作业失败时,找出了什么问题可能是一个繁琐的过程,需要对日志进行调查以发现根本原因-这通常是在作业总输出的一小部分中发现的。为了更容易地将最相关的数据从其他数据中分离出来,日志还原机器学习模型使用以前成功的作业运行来训练,以从失败的运行日志中提取异常。
此原则也可应用于其他用例,例如,从期刊或其他系统范围的常规日志文件。

利用机器学习降低噪声

一个典型的日志文件包含许多名义事件(“基线”)以及一些与开发人员相关的异常。基线可能包含难以检测和删除的随机元素,如时间戳或唯一标识符。要删除基线事件,我们可以使用k最近邻模式识别算法 (k-NN)。

使用Python机器学习降低静态日志噪声

的日志事件必须转换为数值。k-NN回归。使用通用特征提取工具HashingVectorizer允许将该进程应用于任何类型的日志。它对每个单词进行散列,并在稀疏矩阵中对每个事件进行编码。为了进一步减少搜索空间,令牌化将删除已知的随机单词,例如日期或IP地址。

使用Python机器学习降低静态日志噪声

一旦模型被训练,k-NN搜索告诉我们每个新事件与基线之间的距离。

使用Python机器学习降低静态日志噪声

Jupyter notebook演示了稀疏矩阵向量的过程,并绘制了稀疏矩阵向量图。

使用Python机器学习降低静态日志噪声

介绍LOGPREIN

LogReallyPython软件透明地实现了这个过程。的最初目标是协助祖尔CI使用构建数据库进行作业失败分析,现在将其集成到软件厂发展锻造的工作日志过程。
最简单的是,LogReduce比较文件或目录,并删除类似的行。Log冷水为每个源文件构建一个模型,并使用以下语法输出距离超过定义阈值的任何目标行:距离文件名:行号:行内容.

$ logreduce varlogauditaudit.log.1 varlogauditaudit.log
INFO logreduce.Classifier - Training took 21.982s at 0.364MBs 1.314kls 8.000 MB - 28.884 kilo-lines
0.244 audit.log:19963:    =USER_AUTH ="root" ="/usr/bin/su" hostname=managesf.sftests.com
INFO logreduce.Classifier - Testing took 18.297s at 0.306MBs 1.094kls 5.607 MB - 20.015 kilo-lines
99.99 reduction from 20015 lines to

更高级的LogReduce使用可以将模型离线训练成可重用的模型。基线的许多变体可以用来适应k-NN搜索树

$ logreduce dir-train audit.clf varlogauditaudit.log.
INFO logreduce.Classifier - Training took 80.883s at 0.396MBs 1.397kls 32.001 MB - 112.977 kilo-lines
DEBUG logreduce.Classifier - audit.clf: written
$ logreduce dir-run audit.clf varlogauditaudit.log

LogReduce还实现了接口,以发现日志时间范围(天/周/月)和Zuul CI作业构建历史记录的基线。它还可以生成HTML报告,在一个简单的接口中发现多个文件中的组异常。

使用Python机器学习降低静态日志噪声

管理基线

使用的关键k-神经网络回归异常检测是有一个已知的良好基线的数据库,该模型用于检测偏离过远的线。该方法依赖于包含所有标称事件的基线,因为基线中没有发现的任何事件都将被报告为异常。

Ci工作是我们的主要目标。k-NN回归,因为作业输出通常是确定性的,以前的运行可以自动用作基线。Log还原功能可以将Zuul作业角色用作失败的作业发布任务的一部分,以便发布简明的报告(而不是完整的作业日志)。这一原则可适用于其他情况,只要可以事先建立基线。例如,一个标称系统的SOS报告可用于查找有缺陷的部署中的问题。

使用Python机器学习降低静态日志噪声

异常分类服务

下一个版本的Logreduce引入了一种服务器模式,用于将日志处理卸载到外部服务,在该服务中可以进一步分析报表。它还支持导入现有的报告和请求来分析Zuul构建。服务运行异步地进行分析,并提供一个Web界面来调整分数和删除假阳性。

使用Python机器学习降低静态日志噪声

评审报告可以作为独立的数据集存档,目标日志文件和记录在平面JSON文件中的异常行的分数。

项目路线图

LogReduce已经被有效地使用了,但是有很多改进工具的机会。今后的计划包括:

  • 管理日志文件中发现的许多带注释的异常,并生成公共域数据集,以便进一步研究。日志文件中的异常检测是一个具有挑战性的主题,拥有一个通用的数据集来测试新的模型将有助于确定新的解决方案。
  • 使用模型重用带注释的异常,以细化所报告的距离。例如,当用户通过将其距离设置为零将行标记为假阳性时,该模型可以减少这些行在未来报告中的得分。
  • 指纹归档异常以检测新的报告何时包含已知的异常。因此,服务可以通知用户作业遇到了已知的问题,而不是报告异常的内容。解决问题后,服务可以自动重新启动作业。
  • 支持更多的目标基线发现接口,如SOS报告、Jenkins构建、Travis CI等。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
使用python获取CPU和内存信息的思路与实现(linux系统)
Jan 03 Python
用Python从零实现贝叶斯分类器的机器学习的教程
Mar 31 Python
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 Python
深入理解 Python 中的多线程 新手必看
Nov 20 Python
Python 比较两个数组的元素的异同方法
Aug 17 Python
VScode编写第一个Python程序HelloWorld步骤
Apr 06 Python
完美解决python中ndarray 默认用科学计数法显示的问题
Jul 14 Python
python 中pyqt5 树节点点击实现多窗口切换问题
Jul 04 Python
django admin 自定义替换change页面模板的方法
Aug 23 Python
详解Python list和numpy array的存储和读取方法
Nov 06 Python
Python用来做Web开发的优势有哪些
Aug 05 Python
python 多线程死锁问题的解决方案
Aug 25 Python
python实现字符串和字典的转换
Sep 29 #Python
python实现字符串中字符分类及个数统计
Sep 28 #Python
python中使用zip函数出现错误的原因
Sep 28 #Python
python中的for循环
Sep 28 #Python
Django migrations 默认目录修改的方法教程
Sep 28 #Python
python数据结构之线性表的顺序存储结构
Sep 28 #Python
python实现顺序表的简单代码
Sep 28 #Python
You might like
javascript 子窗体父窗体相互传值方法
2010/05/31 Javascript
javascript实现颜色渐变的方法
2013/10/30 Javascript
js 限制input只能输入数字、字母和汉字等等
2013/12/18 Javascript
NodeJs基本语法和类型
2015/02/13 NodeJs
Js数组排序函数sort()介绍
2015/06/08 Javascript
JavaScript中Date.toSource()方法的使用教程
2015/06/12 Javascript
简介可以自动完成UI的AngularJS工具angular-smarty
2015/06/23 Javascript
JavaScript的jQuery库中function的存在和参数问题
2015/08/13 Javascript
AngularJS入门教程之与服务器(Ajax)交互操作示例【附完整demo源码下载】
2016/11/02 Javascript
jQuery实现导航高亮的方法【附demo源码下载】
2016/11/09 Javascript
详解微信小程序开发之——wx.showToast(OBJECT)的使用
2017/01/18 Javascript
深究AngularJS——ng-checked(回写:带真实案例代码)
2017/06/13 Javascript
JS基于正则表达式实现的密码强度验证功能示例
2017/09/21 Javascript
vue组件生命周期详解
2017/11/07 Javascript
VSCode Vue开发推荐插件和VSCode快捷键(小结)
2020/08/08 Javascript
在Linux系统上安装Python的Scrapy框架的教程
2015/06/11 Python
python爬取w3shcool的JQuery课程并且保存到本地
2017/04/06 Python
python调用Delphi写的Dll代码示例
2017/12/05 Python
python搭建服务器实现两个Android客户端间收发消息
2018/04/12 Python
python3.7.0的安装步骤
2018/08/27 Python
15行Python代码实现网易云热门歌单实例教程
2019/03/10 Python
Python matplotlib画图与中文设置操作实例分析
2019/04/23 Python
django admin 自定义替换change页面模板的方法
2019/08/23 Python
pytorch中获取模型input/output shape实例
2019/12/30 Python
From CSV to SQLite3 by python 导入csv到sqlite实例
2020/02/14 Python
使用python批量修改XML文件中图像的depth值
2020/07/22 Python
python向xls写入数据(包括合并,边框,对齐,列宽)
2021/02/02 Python
HTML5拖拽文件上传的示例代码
2021/03/04 HTML / CSS
Net Remoting把服务器端激活两种模式
2014/01/22 面试题
商务助理岗位职责
2013/11/13 职场文书
机电专业大学生职业规划书范文
2014/02/25 职场文书
艾滋病宣传标语
2014/06/25 职场文书
分居协议书范本(律师见证版)
2014/11/26 职场文书
先进基层党组织事迹材料
2014/12/25 职场文书
如何使用CocosCreator对象池
2021/04/14 Javascript
JVM钩子函数的使用场景详解
2021/08/23 Java/Android