python脚本调用iftop 统计业务应用流量的思路详解


Posted in Python onOctober 11, 2019

因公司服务器上部署应用较多,在有大并发访问、业务逻辑有问题的情况下反复互相调用或者有异常流量访问的时候,需要对业务应用进行故障定位,所以利用python调用iftop命令来获取应用进程流量,结合zabbix,可帮助定位分析问题。,以下是脚本内容,大概思路是:

  • 利用iftop命令 iftop -t -P -N -n -s 2 来获取流量信息
  • 对获取的流量信息进行处理,单位换算,同一个应用程序的所有链接流量进行合计(因为一个应用会有很多链接,每一个链接都有流量,全部相加即可得出这个应用的总流量)
#!/usr/bin/python
#coding=utf-8
#针对业务监听的端口流量进行统计,忽略对随机端口流量统计
#若针对突然流量增大,找到其进程进行告警,可以不做统计,获取到流量进行判断,若大于多少阀值,则输出
import os
def change_unit(unit):
 if "Mb" in unit:
  flow = float(unit.strip("Mb")) * 1024
  return flow
 elif "Kb" in unit:
  flow = float(unit.strip("Kb"))
  return flow
 elif "b" in unit:
  flow = float(unit.strip("b")) / 1024
  return flow
def get_flow():
 #iftop参数:-t 使用不带ncurses的文本界面,-P显示主机以及端口信息,-N只显示连接端口号,不显示端口对应的服务名称,-n 将输出的主机信息都通过IP显示,不进行DNS解析,-s num num秒后打印一次文本输出然后退出
 mes = os.popen("iftop -t -P -N -n -s 2 2>/dev/null |grep -A 1 -E '^ [0-9]'").read()
 #以换行符进行分割
 iftop_list = mes.split("\n")
 count = len(iftop_list)
 #定义字典 存放主机信息和进出流量
 flow_dict = {}
 #定义列表,存放主机信息
 host_ips = []
# 把主机加入数组,新的主机查询是否在列表里面,没有的话,把主机信息加入host_ips,并新组装一个字典值加入flow_dict字典,如果host_ips存在主机信息,则把字典值取出来,重新计算增加流量数值,再加入字典flow_dict
 #这里的 count/2 是iftop获取到的数据,是进出流量为一组,则有count/2 个流量连接,可执行os.popen 里面的iftop命令即可明白
 for i in range(count/2):
  flow_msg = ""
  #获取发送的ip地址(本地ip地址),端口(本地端口),发送的流量,以换行符分割后,数据偶数位为本地发送流量信息
  location_li_s = iftop_list[i*2]
  send_flow_lists = location_li_s.split(" ")
  #去空元素
  while '' in send_flow_lists:
   send_flow_lists.remove('')
  host_ip = send_flow_lists[1]
  send_flow = send_flow_lists[3]
  send_flow_float = change_unit(send_flow)
  #print send_flow_lists
  #获取接收的流量
  location_li_r = iftop_list[i*2+1]
  rec_flow_lists = location_li_r.split(" ")
  while '' in rec_flow_lists:
   rec_flow_lists.remove('')
  rec_flow = rec_flow_lists[3]
  rec_flow_float = change_unit(rec_flow) 
  #去掉本地linux 大于10000的随机端口,因为公司业务应用无大于10000,也可把这里去掉
  port = host_ip.split(":")[1]
  if int(port) < 10000:
  #主机信息若不存在列表则加入host_ips,若存在,则字典取值,对进出流量进行相加
   if host_ip not in host_ips:
     host_ips.append(host_ip)
     flow_msg = str(float('%2.f' % send_flow_float)) + ":" + str(float('%.2f' % rec_flow_float))
     flow_dict[host_ip]=flow_msg
   else:
    flow_dict_msg = flow_dict[host_ip]
    flow_dict_msg_li = flow_dict_msg.split(":")
    #获取字典里的发送接收流量
    flow_dict_msg_send = float(flow_dict_msg_li[0])
    flow_dict_msg_rec = float(flow_dict_msg_li[1])
    #字典里面的发送接收流量和获取到的新流量相加
    flow_add_send = flow_dict_msg_send + send_flow_float
    flow_add_rec = flow_dict_msg_rec + rec_flow_float
    #把新得出的结果,更新到字典
    flow_msg = str(float('%.2f' % flow_add_send)) + ":" + str(float('%.2f' % flow_add_rec))
    flow_dict[host_ip]=flow_msg
 for key in flow_dict:
  flow_li = flow_dict[key].split(":")
  #flow_li[0]为发送流量,flow_li[1]为接收流量,单位是Kb
  print key + "|" + flow_li[0] + "|" + flow_li[1]
get_flow()

总结

以上所述是小编给大家介绍的python脚本调用iftop 统计业务应用流量的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
python友情链接检查方法
Jul 08 Python
Python如何获得百度统计API的数据并发送邮件示例代码
Jan 27 Python
详解Python做一个名片管理系统
Mar 14 Python
Python 实现交换矩阵的行示例
Jun 26 Python
Python3并发写文件与Python对比
Nov 20 Python
基于Django OneToOneField和ForeignKey的区别详解
Mar 30 Python
利用Python制作动态排名图的实现代码
Apr 09 Python
TensorFlow tf.nn.softmax_cross_entropy_with_logits的用法
Apr 19 Python
python os.listdir()乱码解决方案
Jan 31 Python
python 递归相关知识总结
Mar 03 Python
python 字典和列表嵌套用法详解
Jun 29 Python
Python函数对象与闭包函数
Apr 13 Python
Python3+Requests+Excel完整接口自动化测试框架的实现
Oct 11 #Python
python二进制读写及特殊码同步实现详解
Oct 11 #Python
Python+Tensorflow+CNN实现车牌识别的示例代码
Oct 11 #Python
命令行运行Python脚本时传入参数的三种方式详解
Oct 11 #Python
python中对_init_的理解及实例解析
Oct 11 #Python
pandas数据处理进阶详解
Oct 11 #Python
结合OpenCV与TensorFlow进行人脸识别的实现
Oct 10 #Python
You might like
Thinkphp模板中使用自定义函数的方法
2012/09/23 PHP
PHP中使用Memache作为进程锁的操作类分享
2015/03/30 PHP
MAC下通过改apache配置文件切换php多版本的方法
2017/04/26 PHP
PHP编程求最大公约数与最小公倍数的方法示例
2017/05/29 PHP
Laravel+Intervention实现上传图片功能示例
2019/07/09 PHP
几款极品的javascript压缩混淆工具
2007/05/16 Javascript
javascript 单选框,多选框美化代码
2008/08/01 Javascript
javascript options属性集合操作代码
2009/12/28 Javascript
JQUERY操作JSON实例代码
2010/02/09 Javascript
JavaScript操作XML 使用百度RSS作为新闻源示例
2012/02/17 Javascript
jquery图片延迟加载 前端开发技能必备系列
2012/06/18 Javascript
JavaScript类属性的访问方式详解
2014/02/11 Javascript
js选择并转移导航菜单示例代码
2014/08/19 Javascript
jQuery的context属性用法实例
2014/12/27 Javascript
一步一步封装自己的HtmlHelper组件BootstrapHelper(二)
2016/09/14 Javascript
AngularJS equal比较对象实例详解
2016/09/14 Javascript
同步异步动态引入js文件的几种方法总结
2016/09/23 Javascript
深入理解javascript函数参数与闭包
2016/12/12 Javascript
使用vue和datatables进行表格的服务器端分页实例代码
2017/06/07 Javascript
Angular6 Filter实现页面搜索的示例代码
2018/12/02 Javascript
详解TypeScript+Vue 插件 vue-class-component的使用总结
2019/02/18 Javascript
vue集成chart.js的实现方法
2019/08/20 Javascript
vue实现购物车小案例
2019/09/27 Javascript
js函数和this用法实例分析
2020/03/13 Javascript
python pickle 和 shelve模块的用法
2013/09/16 Python
初学python的操作难点总结(新手必看篇)
2017/08/03 Python
Python PyQt5实现的简易计算器功能示例
2017/08/23 Python
Python Socket编程之多线程聊天室
2018/07/28 Python
pyinstaller参数介绍以及总结详解
2019/07/12 Python
python 实现Harris角点检测算法
2020/12/11 Python
html5 video标签屏蔽右键视频另存为的js代码
2013/11/12 HTML / CSS
幼儿园消防安全制度
2014/01/26 职场文书
宣传活动总结范文
2014/07/01 职场文书
房屋授权委托书范本
2014/10/07 职场文书
Python包管理工具pip的15 个使用小技巧
2021/05/17 Python
SQL Server中的游标介绍
2022/05/20 SQL Server