利用python分析access日志的方法


Posted in Javascript onOctober 26, 2016

前言

WAF上线之后,处理最多的是误报消除。

产生误报有多种原因,比如web应用源码编写时允许客户端提交过多的cookie;比如单个参数提交的数值太大。

把误报降低到了可接受的范围后,还要关注漏报。WAF不是神,任何WAF都可能被绕过。所以还需要定位漏过的攻击,明确漏报的原因,才能update WAF的策略。

要定位漏报,就必须分析Web应用的访问日志了。一个站点,每天产生的access日志大概接近1GB,显然靠肉眼看是不现实的。这就需要用python帮助自动分析。

实现思路

拿我司某Web系统举例:

     apache开启了access日志记录

     日志规则是每小时生成一个日志文件,以站点名称为文件名,以日期+时间为后缀。例如:special.XXXXXX.com.cn.2016101001

要分析这些散碎的日志文件,我的思路如下:

     1、根据用户命令行输入获取日志文件所在目录;

     2、遍历目录下所有文件,合并到一个文件;

     3、定义web攻击常见payload的字符串:

          SQLi的:select、union、+?+;

          Struts的:ognl、java

          webshell常见的:base64、eval、excute

使用正则逐行匹配,将命中的日志复制到单独的文件。

实现代码

代码如下:

# -*-coding: utf-8 -*-
import os,re,sys
if len(sys.argv) != 2 :
  print 'Usage : python logaudit.py <path>'
  sys.exit()
logpath = sys.argv[1]
#获取输入参数的文件路径'
merge = re.compile(r'.*(\d[10])')
for root , dirs , files in os.walk(logpath):
  for line in files:
    #遍历日志文件夹,合并所有内容到一个文件
    pipei = merge.match(line)
    if pipei != None:
      tmppath = root + '\\' +line
      logread1 = open(tmppath,'r')
      logread = logread1.read()
      log2txt = open('.\\log.txt','a')
      log2txt.write(logread)
      log2txt.close()
      logread1.close()
    else:
      exit
log = open('.//log.txt','r')
logread = log.readlines()
auditString = re.compile(r'.*[^_][sS][eE][lL][eE][cC][tT][^.].*|.*[uU][nN][iI][Oo][nN].*|.*[bB][aA][sS][eE][^.].*|.*[oO][gG][nN][lL].*|.*[eE][vV][aA][lL][(].*|.*[eE][xX][cC][uU][tT][eE].*')
writelog = open('.//result.txt','a')
for lines in logread:
  auditResult = auditString.match(lines)
  if auditResult != None:
    writelog.write(auditResult.group())
    writelog.write('\n')
  else:
    exit
writelog.close()
log.close()

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Javascript 相关文章推荐
使用jQuery实现dropdownlist的联动效果(sharepoint 2007)
Mar 30 Javascript
jQuery中queue()方法用法实例
Dec 29 Javascript
jQuery插件ajaxFileUpload使用实例解析
Oct 19 Javascript
jQuery Password Validation密码验证
Dec 30 Javascript
JavaScript实现获取远程的html到当前页面中
Mar 26 Javascript
angular4实现tab栏切换的方法示例
Oct 21 Javascript
Vue.js+Layer表格数据绑定与实现更新的实例
Mar 07 Javascript
详解vue-cli项目中怎么使用mock数据
May 29 Javascript
JavaScript设计模式之工厂模式简单实例教程
Jul 03 Javascript
小程序页面动态配置实现方法
Feb 05 Javascript
layer父页获取弹出层输入框里面的值方法
Sep 02 Javascript
Vue.js实现立体计算器
Feb 22 Javascript
浅谈jQuery绑定事件会叠加的解决方法和心得总结
Oct 26 #Javascript
关于Jquery中的事件绑定总结
Oct 26 #Javascript
IE8利用自带的setCapture和releaseCapture解决iframe的拖拽事件方法
Oct 25 #Javascript
理解JavaScript原型链
Oct 25 #Javascript
Ztree新增角色和编辑角色回显问题的解决
Oct 25 #Javascript
jQuery+json实现动态创建复杂表格table的方法
Oct 25 #Javascript
jQuery实现的小图列表,大图展示效果幻灯片示例
Oct 25 #Javascript
You might like
AMFPHP php远程调用(RPC, Remote Procedure Call)工具 快速入门教程
2010/05/10 PHP
php基础教程 php内置函数实例教程
2012/08/21 PHP
解析PHP工厂模式的好处
2013/06/18 PHP
php中Y2K38的漏洞解决方法实例分析
2014/09/22 PHP
在PHP语言中使用JSON和将json还原成数组的方法
2016/07/19 PHP
PHP convert_uudecode()函数讲解
2019/02/14 PHP
用javascript实现自定义标签
2007/05/08 Javascript
ImageFlow可鼠标控制图片滚动
2008/01/30 Javascript
javascript模拟post提交隐藏地址栏的参数
2014/09/03 Javascript
jQuery创建自定义的选择器用以选择高度大于100的超链接实例
2015/03/18 Javascript
JS弹出层遮罩,隐藏背景页面滚动条细节优化分析
2016/04/29 Javascript
jquery html动态添加的元素绑定事件详解
2016/05/24 Javascript
通过jquery-ui中的sortable来实现拖拽排序的简单实例
2016/05/24 Javascript
jQuery实现下拉菜单(内容为时间)的实时更新及图表的随动更新的方法
2016/07/07 Javascript
在百度搜索结果中去除掉一些网站的资料(通过js控制不让显示)
2017/05/02 Javascript
微信小程序自定义导航隐藏和显示功能
2017/06/13 Javascript
vue-router 导航钩子的具体使用方法
2017/08/31 Javascript
Vue仿支付宝支付功能
2018/05/25 Javascript
angular中子控制器向父控制器传值的实例
2018/10/08 Javascript
JavaScript根据json生成html表格的示例代码
2018/10/24 Javascript
vue实现动态显示与隐藏底部导航的方法分析
2019/02/11 Javascript
vue 使用v-for进行循环的实例代码详解
2020/02/19 Javascript
vscode 调试 node.js的方法步骤
2020/09/15 Javascript
[58:00]DOTA2-DPC中国联赛 正赛 PSG.LGD vs Elephant BO3 第二场 2月7日
2021/03/11 DOTA
python实现下载文件的三种方法
2017/02/09 Python
Python与R语言的简要对比
2017/11/14 Python
Python实现重建二叉树的三种方法详解
2018/06/23 Python
使用Python微信库itchat获得好友和群组已撤回的消息
2018/06/24 Python
Python类及获取对象属性方法解析
2020/06/15 Python
Python 如何反方向迭代一个序列
2020/07/28 Python
浅析CSS3 中的 transition,transform,translate之间区别和作用
2020/03/26 HTML / CSS
Levi’s西班牙官方网站:李维斯,著名的牛仔裤品牌
2020/08/20 全球购物
护士进修自我鉴定
2014/02/07 职场文书
幼儿园百日安全活动总结
2015/05/07 职场文书
同学会感言
2015/07/30 职场文书
2016年乡镇综治宣传月活动总结
2016/03/16 职场文书