python脚本调用iftop 统计业务应用流量的思路详解


Posted in Python onOctober 11, 2019

因公司服务器上部署应用较多,在有大并发访问、业务逻辑有问题的情况下反复互相调用或者有异常流量访问的时候,需要对业务应用进行故障定位,所以利用python调用iftop命令来获取应用进程流量,结合zabbix,可帮助定位分析问题。,以下是脚本内容,大概思路是:

  • 利用iftop命令 iftop -t -P -N -n -s 2 来获取流量信息
  • 对获取的流量信息进行处理,单位换算,同一个应用程序的所有链接流量进行合计(因为一个应用会有很多链接,每一个链接都有流量,全部相加即可得出这个应用的总流量)
#!/usr/bin/python
#coding=utf-8
#针对业务监听的端口流量进行统计,忽略对随机端口流量统计
#若针对突然流量增大,找到其进程进行告警,可以不做统计,获取到流量进行判断,若大于多少阀值,则输出
import os
def change_unit(unit):
 if "Mb" in unit:
  flow = float(unit.strip("Mb")) * 1024
  return flow
 elif "Kb" in unit:
  flow = float(unit.strip("Kb"))
  return flow
 elif "b" in unit:
  flow = float(unit.strip("b")) / 1024
  return flow
def get_flow():
 #iftop参数:-t 使用不带ncurses的文本界面,-P显示主机以及端口信息,-N只显示连接端口号,不显示端口对应的服务名称,-n 将输出的主机信息都通过IP显示,不进行DNS解析,-s num num秒后打印一次文本输出然后退出
 mes = os.popen("iftop -t -P -N -n -s 2 2>/dev/null |grep -A 1 -E '^ [0-9]'").read()
 #以换行符进行分割
 iftop_list = mes.split("\n")
 count = len(iftop_list)
 #定义字典 存放主机信息和进出流量
 flow_dict = {}
 #定义列表,存放主机信息
 host_ips = []
# 把主机加入数组,新的主机查询是否在列表里面,没有的话,把主机信息加入host_ips,并新组装一个字典值加入flow_dict字典,如果host_ips存在主机信息,则把字典值取出来,重新计算增加流量数值,再加入字典flow_dict
 #这里的 count/2 是iftop获取到的数据,是进出流量为一组,则有count/2 个流量连接,可执行os.popen 里面的iftop命令即可明白
 for i in range(count/2):
  flow_msg = ""
  #获取发送的ip地址(本地ip地址),端口(本地端口),发送的流量,以换行符分割后,数据偶数位为本地发送流量信息
  location_li_s = iftop_list[i*2]
  send_flow_lists = location_li_s.split(" ")
  #去空元素
  while '' in send_flow_lists:
   send_flow_lists.remove('')
  host_ip = send_flow_lists[1]
  send_flow = send_flow_lists[3]
  send_flow_float = change_unit(send_flow)
  #print send_flow_lists
  #获取接收的流量
  location_li_r = iftop_list[i*2+1]
  rec_flow_lists = location_li_r.split(" ")
  while '' in rec_flow_lists:
   rec_flow_lists.remove('')
  rec_flow = rec_flow_lists[3]
  rec_flow_float = change_unit(rec_flow) 
  #去掉本地linux 大于10000的随机端口,因为公司业务应用无大于10000,也可把这里去掉
  port = host_ip.split(":")[1]
  if int(port) < 10000:
  #主机信息若不存在列表则加入host_ips,若存在,则字典取值,对进出流量进行相加
   if host_ip not in host_ips:
     host_ips.append(host_ip)
     flow_msg = str(float('%2.f' % send_flow_float)) + ":" + str(float('%.2f' % rec_flow_float))
     flow_dict[host_ip]=flow_msg
   else:
    flow_dict_msg = flow_dict[host_ip]
    flow_dict_msg_li = flow_dict_msg.split(":")
    #获取字典里的发送接收流量
    flow_dict_msg_send = float(flow_dict_msg_li[0])
    flow_dict_msg_rec = float(flow_dict_msg_li[1])
    #字典里面的发送接收流量和获取到的新流量相加
    flow_add_send = flow_dict_msg_send + send_flow_float
    flow_add_rec = flow_dict_msg_rec + rec_flow_float
    #把新得出的结果,更新到字典
    flow_msg = str(float('%.2f' % flow_add_send)) + ":" + str(float('%.2f' % flow_add_rec))
    flow_dict[host_ip]=flow_msg
 for key in flow_dict:
  flow_li = flow_dict[key].split(":")
  #flow_li[0]为发送流量,flow_li[1]为接收流量,单位是Kb
  print key + "|" + flow_li[0] + "|" + flow_li[1]
get_flow()

总结

以上所述是小编给大家介绍的python脚本调用iftop 统计业务应用流量的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
Python的垃圾回收机制深入分析
Jul 16 Python
关于Python中异常(Exception)的汇总
Jan 18 Python
20个常用Python运维库和模块
Feb 12 Python
详解Python sys.argv使用方法
May 10 Python
利用python和百度地图API实现数据地图标注的方法
May 13 Python
python整合ffmpeg实现视频文件的批量转换
May 31 Python
pyqt5 tablewidget 利用线程动态刷新数据的方法
Jun 17 Python
django中的图片验证码功能
Sep 18 Python
Python hashlib加密模块常用方法解析
Dec 18 Python
Pytorch之view及view_as使用详解
Dec 31 Python
django queryset 去重 .distinct()说明
May 19 Python
pytorch 如何使用batch训练lstm网络
May 28 Python
Python3+Requests+Excel完整接口自动化测试框架的实现
Oct 11 #Python
python二进制读写及特殊码同步实现详解
Oct 11 #Python
Python+Tensorflow+CNN实现车牌识别的示例代码
Oct 11 #Python
命令行运行Python脚本时传入参数的三种方式详解
Oct 11 #Python
python中对_init_的理解及实例解析
Oct 11 #Python
pandas数据处理进阶详解
Oct 11 #Python
结合OpenCV与TensorFlow进行人脸识别的实现
Oct 10 #Python
You might like
新52大事件
2020/03/03 欧美动漫
模板引擎正则表达式调试小技巧
2011/07/20 PHP
php中让人头疼的浮点数运算分析
2016/10/10 PHP
详解yii2实现分库分表的方案与思路
2017/02/03 PHP
Aptana调试javascript图解教程
2009/11/30 Javascript
JQuery从头学起第三讲
2010/07/06 Javascript
基于Jquery实现的一个图片滚动切换
2012/06/21 Javascript
div模拟选择框示例代码
2013/11/03 Javascript
JS递归遍历对象获得Value值方法技巧
2016/06/14 Javascript
AngularJS Bootstrap详细介绍及实例代码
2016/07/28 Javascript
AngularJS中的按需加载ocLazyLoad示例
2017/01/11 Javascript
vue 如何添加全局函数或全局变量以及单页面的title设置总结
2017/06/01 Javascript
Vue.js添加组件操作示例
2018/06/13 Javascript
Vuex中的State使用介绍
2019/01/19 Javascript
详解ES6中的Map与Set集合
2019/03/22 Javascript
JavaScript实现好看的跟随彩色气泡效果
2020/02/06 Javascript
微信分享invalid signature签名错误踩过的坑
2020/04/11 Javascript
VUE实时监听元素距离顶部高度的操作
2020/07/29 Javascript
详解vue 组件的实现原理
2020/11/12 Javascript
[51:00]Secret vs VGJ.S 2018国际邀请赛淘汰赛BO3 第一场 8.24
2018/08/25 DOTA
python数据结构之列表和元组的详解
2017/09/23 Python
Python抽象和自定义类定义与用法示例
2018/08/23 Python
解决安装新版PyQt5、PyQT5-tool后打不开并Designer.exe提示no Qt platform plugin的问题
2020/04/24 Python
django和flask哪个值得研究学习
2020/07/31 Python
Python实现扫码工具的示例代码
2020/10/09 Python
美国领先的户外服装与装备用品店:Moosejaw
2016/08/25 全球购物
澳大利亚女士时装在线:Rockmans
2018/09/26 全球购物
销售工作岗位职责
2013/12/24 职场文书
小学教师国培感言
2014/02/08 职场文书
销售总经理岗位职责
2014/03/15 职场文书
体育教师求职信
2014/05/24 职场文书
检讨书范文300字
2015/01/28 职场文书
培训通知
2015/04/17 职场文书
公司员工宿舍管理制度
2015/08/07 职场文书
创业计划书之面包店
2019/09/12 职场文书
Python中使用tkFileDialog实现文件选择、保存和路径选择
2022/05/20 Python