使用Python机器学习降低静态日志噪声


Posted in Python onSeptember 29, 2018

持续集成(CI)作业可以产生大量的数据。当作业失败时,找出了什么问题可能是一个繁琐的过程,需要对日志进行调查以发现根本原因-这通常是在作业总输出的一小部分中发现的。为了更容易地将最相关的数据从其他数据中分离出来,日志还原机器学习模型使用以前成功的作业运行来训练,以从失败的运行日志中提取异常。
此原则也可应用于其他用例,例如,从期刊或其他系统范围的常规日志文件。

利用机器学习降低噪声

一个典型的日志文件包含许多名义事件(“基线”)以及一些与开发人员相关的异常。基线可能包含难以检测和删除的随机元素,如时间戳或唯一标识符。要删除基线事件,我们可以使用k最近邻模式识别算法 (k-NN)。

使用Python机器学习降低静态日志噪声

的日志事件必须转换为数值。k-NN回归。使用通用特征提取工具HashingVectorizer允许将该进程应用于任何类型的日志。它对每个单词进行散列,并在稀疏矩阵中对每个事件进行编码。为了进一步减少搜索空间,令牌化将删除已知的随机单词,例如日期或IP地址。

使用Python机器学习降低静态日志噪声

一旦模型被训练,k-NN搜索告诉我们每个新事件与基线之间的距离。

使用Python机器学习降低静态日志噪声

Jupyter notebook演示了稀疏矩阵向量的过程,并绘制了稀疏矩阵向量图。

使用Python机器学习降低静态日志噪声

介绍LOGPREIN

LogReallyPython软件透明地实现了这个过程。的最初目标是协助祖尔CI使用构建数据库进行作业失败分析,现在将其集成到软件厂发展锻造的工作日志过程。
最简单的是,LogReduce比较文件或目录,并删除类似的行。Log冷水为每个源文件构建一个模型,并使用以下语法输出距离超过定义阈值的任何目标行:距离文件名:行号:行内容.

$ logreduce varlogauditaudit.log.1 varlogauditaudit.log
INFO logreduce.Classifier - Training took 21.982s at 0.364MBs 1.314kls 8.000 MB - 28.884 kilo-lines
0.244 audit.log:19963:    =USER_AUTH ="root" ="/usr/bin/su" hostname=managesf.sftests.com
INFO logreduce.Classifier - Testing took 18.297s at 0.306MBs 1.094kls 5.607 MB - 20.015 kilo-lines
99.99 reduction from 20015 lines to

更高级的LogReduce使用可以将模型离线训练成可重用的模型。基线的许多变体可以用来适应k-NN搜索树

$ logreduce dir-train audit.clf varlogauditaudit.log.
INFO logreduce.Classifier - Training took 80.883s at 0.396MBs 1.397kls 32.001 MB - 112.977 kilo-lines
DEBUG logreduce.Classifier - audit.clf: written
$ logreduce dir-run audit.clf varlogauditaudit.log

LogReduce还实现了接口,以发现日志时间范围(天/周/月)和Zuul CI作业构建历史记录的基线。它还可以生成HTML报告,在一个简单的接口中发现多个文件中的组异常。

使用Python机器学习降低静态日志噪声

管理基线

使用的关键k-神经网络回归异常检测是有一个已知的良好基线的数据库,该模型用于检测偏离过远的线。该方法依赖于包含所有标称事件的基线,因为基线中没有发现的任何事件都将被报告为异常。

Ci工作是我们的主要目标。k-NN回归,因为作业输出通常是确定性的,以前的运行可以自动用作基线。Log还原功能可以将Zuul作业角色用作失败的作业发布任务的一部分,以便发布简明的报告(而不是完整的作业日志)。这一原则可适用于其他情况,只要可以事先建立基线。例如,一个标称系统的SOS报告可用于查找有缺陷的部署中的问题。

使用Python机器学习降低静态日志噪声

异常分类服务

下一个版本的Logreduce引入了一种服务器模式,用于将日志处理卸载到外部服务,在该服务中可以进一步分析报表。它还支持导入现有的报告和请求来分析Zuul构建。服务运行异步地进行分析,并提供一个Web界面来调整分数和删除假阳性。

使用Python机器学习降低静态日志噪声

评审报告可以作为独立的数据集存档,目标日志文件和记录在平面JSON文件中的异常行的分数。

项目路线图

LogReduce已经被有效地使用了,但是有很多改进工具的机会。今后的计划包括:

  • 管理日志文件中发现的许多带注释的异常,并生成公共域数据集,以便进一步研究。日志文件中的异常检测是一个具有挑战性的主题,拥有一个通用的数据集来测试新的模型将有助于确定新的解决方案。
  • 使用模型重用带注释的异常,以细化所报告的距离。例如,当用户通过将其距离设置为零将行标记为假阳性时,该模型可以减少这些行在未来报告中的得分。
  • 指纹归档异常以检测新的报告何时包含已知的异常。因此,服务可以通知用户作业遇到了已知的问题,而不是报告异常的内容。解决问题后,服务可以自动重新启动作业。
  • 支持更多的目标基线发现接口,如SOS报告、Jenkins构建、Travis CI等。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
Python文件和目录操作详解
Feb 08 Python
python标准算法实现数组全排列的方法
Mar 17 Python
Python实现堆排序的方法详解
May 03 Python
详解字典树Trie结构及其Python代码实现
Jun 03 Python
Python中列表与元组的乘法操作示例
Feb 10 Python
详解Python核心对象类型字符串
Feb 11 Python
python奇偶行分开存储实现代码
Mar 19 Python
python 除法保留两位小数点的方法
Jul 16 Python
Django保护敏感信息的方法示例
May 09 Python
Pytorch实现LSTM和GRU示例
Jan 14 Python
Python如何通过百度翻译API实现翻译功能
Apr 02 Python
对python中arange()和linspace()的区别说明
May 03 Python
python实现字符串和字典的转换
Sep 29 #Python
python实现字符串中字符分类及个数统计
Sep 28 #Python
python中使用zip函数出现错误的原因
Sep 28 #Python
python中的for循环
Sep 28 #Python
Django migrations 默认目录修改的方法教程
Sep 28 #Python
python数据结构之线性表的顺序存储结构
Sep 28 #Python
python实现顺序表的简单代码
Sep 28 #Python
You might like
PHP获取指定时间段之间的 年,月,天,时,分,秒
2016/06/05 PHP
PHP生成二维码与识别二维码的方法详解【附源码下载】
2019/03/07 PHP
JQuery中对服务器控件 DropdownList, RadioButtonList, CheckboxList的操作总结
2011/06/28 Javascript
鼠标滚轮控制网页横向移动实现思路
2013/03/22 Javascript
javaScript中两个等于号和三个等于号之间的区别介绍
2014/06/27 Javascript
JavaScript字符串对象slice方法入门实例(用于字符串截取)
2014/10/16 Javascript
js实现向右横向滑出的二级菜单效果
2015/08/27 Javascript
jQuery实现鼠标悬停背景翻转的黑色导航菜单代码
2015/09/14 Javascript
JS+CSS实现自适应选项卡宽度的圆角滑动门效果
2015/09/15 Javascript
JavaScript下的时间格式处理函数Date.prototype.format
2016/01/27 Javascript
Struts2+jquery.form.js实现图片与文件上传的方法
2016/05/05 Javascript
JavaScript编写检测用户所使用的浏览器的代码示例
2016/05/05 Javascript
JavaScript鼠标事件,点击鼠标右键,弹出div的简单实例
2016/08/03 Javascript
JavaScript如何实现跨域请求
2016/08/05 Javascript
Angular父组件调用子组件的方法
2018/04/02 Javascript
JS实现图片旋转动画效果封装与使用示例
2018/07/09 Javascript
vue + typescript + video.js实现 流媒体播放 视频监控功能
2019/07/07 Javascript
关于Layui Table隐藏列问题
2019/09/16 Javascript
Python获取Windows或Linux主机名称通用函数分享
2014/11/22 Python
Python open()文件处理使用介绍
2014/11/30 Python
在Python的Django框架上部署ORM库的教程
2015/04/20 Python
python如何拆分含有多种分隔符的字符串
2018/03/20 Python
Python实现的维尼吉亚密码算法示例
2018/04/12 Python
Python sorted函数详解(高级篇)
2018/09/18 Python
解决pycharm运行出错,代码正确结果不显示的问题
2018/11/30 Python
Python获取航线信息并且制作成图的讲解
2019/01/03 Python
python中对_init_的理解及实例解析
2019/10/11 Python
Pytorch 卷积中的 Input Shape用法
2020/06/29 Python
Django自定义YamlField实现过程解析
2020/11/11 Python
函授本科毕业自我鉴定
2013/10/09 职场文书
学校安全生产承诺书
2014/05/23 职场文书
2014年客房部工作总结
2014/11/22 职场文书
2015年暑期社会实践活动总结
2015/03/27 职场文书
公司借条范本
2015/05/25 职场文书
药房管理制度范本
2015/08/06 职场文书
springcloud整合seata
2022/05/20 Java/Android