使用Python机器学习降低静态日志噪声


Posted in Python onSeptember 29, 2018

持续集成(CI)作业可以产生大量的数据。当作业失败时,找出了什么问题可能是一个繁琐的过程,需要对日志进行调查以发现根本原因-这通常是在作业总输出的一小部分中发现的。为了更容易地将最相关的数据从其他数据中分离出来,日志还原机器学习模型使用以前成功的作业运行来训练,以从失败的运行日志中提取异常。
此原则也可应用于其他用例,例如,从期刊或其他系统范围的常规日志文件。

利用机器学习降低噪声

一个典型的日志文件包含许多名义事件(“基线”)以及一些与开发人员相关的异常。基线可能包含难以检测和删除的随机元素,如时间戳或唯一标识符。要删除基线事件,我们可以使用k最近邻模式识别算法 (k-NN)。

使用Python机器学习降低静态日志噪声

的日志事件必须转换为数值。k-NN回归。使用通用特征提取工具HashingVectorizer允许将该进程应用于任何类型的日志。它对每个单词进行散列,并在稀疏矩阵中对每个事件进行编码。为了进一步减少搜索空间,令牌化将删除已知的随机单词,例如日期或IP地址。

使用Python机器学习降低静态日志噪声

一旦模型被训练,k-NN搜索告诉我们每个新事件与基线之间的距离。

使用Python机器学习降低静态日志噪声

Jupyter notebook演示了稀疏矩阵向量的过程,并绘制了稀疏矩阵向量图。

使用Python机器学习降低静态日志噪声

介绍LOGPREIN

LogReallyPython软件透明地实现了这个过程。的最初目标是协助祖尔CI使用构建数据库进行作业失败分析,现在将其集成到软件厂发展锻造的工作日志过程。
最简单的是,LogReduce比较文件或目录,并删除类似的行。Log冷水为每个源文件构建一个模型,并使用以下语法输出距离超过定义阈值的任何目标行:距离文件名:行号:行内容.

$ logreduce varlogauditaudit.log.1 varlogauditaudit.log
INFO logreduce.Classifier - Training took 21.982s at 0.364MBs 1.314kls 8.000 MB - 28.884 kilo-lines
0.244 audit.log:19963:    =USER_AUTH ="root" ="/usr/bin/su" hostname=managesf.sftests.com
INFO logreduce.Classifier - Testing took 18.297s at 0.306MBs 1.094kls 5.607 MB - 20.015 kilo-lines
99.99 reduction from 20015 lines to

更高级的LogReduce使用可以将模型离线训练成可重用的模型。基线的许多变体可以用来适应k-NN搜索树

$ logreduce dir-train audit.clf varlogauditaudit.log.
INFO logreduce.Classifier - Training took 80.883s at 0.396MBs 1.397kls 32.001 MB - 112.977 kilo-lines
DEBUG logreduce.Classifier - audit.clf: written
$ logreduce dir-run audit.clf varlogauditaudit.log

LogReduce还实现了接口,以发现日志时间范围(天/周/月)和Zuul CI作业构建历史记录的基线。它还可以生成HTML报告,在一个简单的接口中发现多个文件中的组异常。

使用Python机器学习降低静态日志噪声

管理基线

使用的关键k-神经网络回归异常检测是有一个已知的良好基线的数据库,该模型用于检测偏离过远的线。该方法依赖于包含所有标称事件的基线,因为基线中没有发现的任何事件都将被报告为异常。

Ci工作是我们的主要目标。k-NN回归,因为作业输出通常是确定性的,以前的运行可以自动用作基线。Log还原功能可以将Zuul作业角色用作失败的作业发布任务的一部分,以便发布简明的报告(而不是完整的作业日志)。这一原则可适用于其他情况,只要可以事先建立基线。例如,一个标称系统的SOS报告可用于查找有缺陷的部署中的问题。

使用Python机器学习降低静态日志噪声

异常分类服务

下一个版本的Logreduce引入了一种服务器模式,用于将日志处理卸载到外部服务,在该服务中可以进一步分析报表。它还支持导入现有的报告和请求来分析Zuul构建。服务运行异步地进行分析,并提供一个Web界面来调整分数和删除假阳性。

使用Python机器学习降低静态日志噪声

评审报告可以作为独立的数据集存档,目标日志文件和记录在平面JSON文件中的异常行的分数。

项目路线图

LogReduce已经被有效地使用了,但是有很多改进工具的机会。今后的计划包括:

  • 管理日志文件中发现的许多带注释的异常,并生成公共域数据集,以便进一步研究。日志文件中的异常检测是一个具有挑战性的主题,拥有一个通用的数据集来测试新的模型将有助于确定新的解决方案。
  • 使用模型重用带注释的异常,以细化所报告的距离。例如,当用户通过将其距离设置为零将行标记为假阳性时,该模型可以减少这些行在未来报告中的得分。
  • 指纹归档异常以检测新的报告何时包含已知的异常。因此,服务可以通知用户作业遇到了已知的问题,而不是报告异常的内容。解决问题后,服务可以自动重新启动作业。
  • 支持更多的目标基线发现接口,如SOS报告、Jenkins构建、Travis CI等。

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对三水点靠木的支持。如果你想了解更多相关内容请查看下面相关链接

Python 相关文章推荐
python调用cmd命令行制作刷博器
Jan 13 Python
Python中使用装饰器时需要注意的一些问题
May 11 Python
好用的Python编辑器WingIDE的使用经验总结
Aug 31 Python
django允许外部访问的实例讲解
May 14 Python
Python读取英文文件并记录每个单词出现次数后降序输出示例
Jun 28 Python
Python面向对象程序设计之私有属性及私有方法示例
Apr 08 Python
Python字符串对象实现原理详解
Jul 01 Python
python函数参数(必须参数、可变参数、关键字参数)
Aug 16 Python
python 实现二维字典的键值合并等函数
Dec 06 Python
Pytorch训练过程出现nan的解决方式
Jan 02 Python
基于Python的EasyGUI学习实践
May 07 Python
python playwright 自动等待和断言详解
Nov 27 Python
python实现字符串和字典的转换
Sep 29 #Python
python实现字符串中字符分类及个数统计
Sep 28 #Python
python中使用zip函数出现错误的原因
Sep 28 #Python
python中的for循环
Sep 28 #Python
Django migrations 默认目录修改的方法教程
Sep 28 #Python
python数据结构之线性表的顺序存储结构
Sep 28 #Python
python实现顺序表的简单代码
Sep 28 #Python
You might like
php做下载文件的实现代码及文件名中乱码解决方法
2011/02/03 PHP
php 备份数据库代码(生成word,excel,json,xml,sql)
2013/06/23 PHP
PHP简单实现数字分页功能示例
2016/08/24 PHP
ThinkPHP5与单元测试PHPUnit使用详解
2020/02/23 PHP
静态图片的十一种滤镜效果--不支持Ie7及非IE浏览器。
2007/03/06 Javascript
jQuery bind事件使用详解
2011/05/05 Javascript
判断是否安装flash player及当前版本的JS代码
2013/08/08 Javascript
用js正确判断用户名cookie是否存在的方法
2014/01/28 Javascript
JavaScript的Backbone.js框架环境搭建及Hellow world示例
2016/05/07 Javascript
浅析jQuery操作select控件的取值和设值
2016/12/07 Javascript
AngularJS报错$apply already in progress的解决方法分析
2017/01/30 Javascript
详解使用angular-cli发布i18n多国语言Angular应用
2017/05/20 Javascript
Angularjs 手写日历的实现代码(不用插件)
2017/10/18 Javascript
微信小程序实现页面跳转传值以及获取值的方法分析
2017/12/18 Javascript
记一次webpack3升级webpack4的踩坑经历
2018/06/12 Javascript
JS 音频可视化插件Wavesurfer.js的使用教程
2018/10/31 Javascript
浅谈Vue 性能优化之深挖数组
2018/12/11 Javascript
ES6小技巧之代替lodash
2019/06/07 Javascript
使用Typescript和ES模块发布Node模块的方法
2020/05/25 Javascript
django使用图片延时加载引起后台404错误
2017/04/18 Python
python实现猜单词游戏
2020/05/22 Python
使用py-spy解决scrapy卡死的问题方法
2020/09/29 Python
python实现启动一个外部程序,并且不阻塞当前进程
2020/12/05 Python
Python爬虫入门教程02之笔趣阁小说爬取
2021/01/24 Python
谷歌浏览器小字体处理方案即12px以下字体
2013/12/17 HTML / CSS
HTML5拖放效果的实现代码
2016/11/17 HTML / CSS
美国木工工具和用品商店:Woodcraft
2019/10/30 全球购物
个人培训自我鉴定
2014/03/28 职场文书
反对四风自我剖析材料
2014/10/07 职场文书
毕业横幅标语
2014/10/08 职场文书
机关作风建设自查报告
2014/10/22 职场文书
夫妻双方自愿离婚协议书怎么写
2014/12/01 职场文书
幼儿园母亲节活动总结
2015/02/10 职场文书
甲午风云观后感
2015/06/02 职场文书
导游词之黄帝陵景区
2019/09/16 职场文书
分布式架构Redis中有哪些数据结构及底层实现原理
2022/03/13 Redis