python脚本调用iftop 统计业务应用流量的思路详解


Posted in Python onOctober 11, 2019

因公司服务器上部署应用较多,在有大并发访问、业务逻辑有问题的情况下反复互相调用或者有异常流量访问的时候,需要对业务应用进行故障定位,所以利用python调用iftop命令来获取应用进程流量,结合zabbix,可帮助定位分析问题。,以下是脚本内容,大概思路是:

  • 利用iftop命令 iftop -t -P -N -n -s 2 来获取流量信息
  • 对获取的流量信息进行处理,单位换算,同一个应用程序的所有链接流量进行合计(因为一个应用会有很多链接,每一个链接都有流量,全部相加即可得出这个应用的总流量)
#!/usr/bin/python
#coding=utf-8
#针对业务监听的端口流量进行统计,忽略对随机端口流量统计
#若针对突然流量增大,找到其进程进行告警,可以不做统计,获取到流量进行判断,若大于多少阀值,则输出
import os
def change_unit(unit):
 if "Mb" in unit:
  flow = float(unit.strip("Mb")) * 1024
  return flow
 elif "Kb" in unit:
  flow = float(unit.strip("Kb"))
  return flow
 elif "b" in unit:
  flow = float(unit.strip("b")) / 1024
  return flow
def get_flow():
 #iftop参数:-t 使用不带ncurses的文本界面,-P显示主机以及端口信息,-N只显示连接端口号,不显示端口对应的服务名称,-n 将输出的主机信息都通过IP显示,不进行DNS解析,-s num num秒后打印一次文本输出然后退出
 mes = os.popen("iftop -t -P -N -n -s 2 2>/dev/null |grep -A 1 -E '^ [0-9]'").read()
 #以换行符进行分割
 iftop_list = mes.split("\n")
 count = len(iftop_list)
 #定义字典 存放主机信息和进出流量
 flow_dict = {}
 #定义列表,存放主机信息
 host_ips = []
# 把主机加入数组,新的主机查询是否在列表里面,没有的话,把主机信息加入host_ips,并新组装一个字典值加入flow_dict字典,如果host_ips存在主机信息,则把字典值取出来,重新计算增加流量数值,再加入字典flow_dict
 #这里的 count/2 是iftop获取到的数据,是进出流量为一组,则有count/2 个流量连接,可执行os.popen 里面的iftop命令即可明白
 for i in range(count/2):
  flow_msg = ""
  #获取发送的ip地址(本地ip地址),端口(本地端口),发送的流量,以换行符分割后,数据偶数位为本地发送流量信息
  location_li_s = iftop_list[i*2]
  send_flow_lists = location_li_s.split(" ")
  #去空元素
  while '' in send_flow_lists:
   send_flow_lists.remove('')
  host_ip = send_flow_lists[1]
  send_flow = send_flow_lists[3]
  send_flow_float = change_unit(send_flow)
  #print send_flow_lists
  #获取接收的流量
  location_li_r = iftop_list[i*2+1]
  rec_flow_lists = location_li_r.split(" ")
  while '' in rec_flow_lists:
   rec_flow_lists.remove('')
  rec_flow = rec_flow_lists[3]
  rec_flow_float = change_unit(rec_flow) 
  #去掉本地linux 大于10000的随机端口,因为公司业务应用无大于10000,也可把这里去掉
  port = host_ip.split(":")[1]
  if int(port) < 10000:
  #主机信息若不存在列表则加入host_ips,若存在,则字典取值,对进出流量进行相加
   if host_ip not in host_ips:
     host_ips.append(host_ip)
     flow_msg = str(float('%2.f' % send_flow_float)) + ":" + str(float('%.2f' % rec_flow_float))
     flow_dict[host_ip]=flow_msg
   else:
    flow_dict_msg = flow_dict[host_ip]
    flow_dict_msg_li = flow_dict_msg.split(":")
    #获取字典里的发送接收流量
    flow_dict_msg_send = float(flow_dict_msg_li[0])
    flow_dict_msg_rec = float(flow_dict_msg_li[1])
    #字典里面的发送接收流量和获取到的新流量相加
    flow_add_send = flow_dict_msg_send + send_flow_float
    flow_add_rec = flow_dict_msg_rec + rec_flow_float
    #把新得出的结果,更新到字典
    flow_msg = str(float('%.2f' % flow_add_send)) + ":" + str(float('%.2f' % flow_add_rec))
    flow_dict[host_ip]=flow_msg
 for key in flow_dict:
  flow_li = flow_dict[key].split(":")
  #flow_li[0]为发送流量,flow_li[1]为接收流量,单位是Kb
  print key + "|" + flow_li[0] + "|" + flow_li[1]
get_flow()

总结

以上所述是小编给大家介绍的python脚本调用iftop 统计业务应用流量的思路详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python 相关文章推荐
浅析Python中的多条件排序实现
Jun 07 Python
总结网络IO模型与select模型的Python实例讲解
Jun 27 Python
python的exec、eval使用分析
Dec 11 Python
Centos 升级到python3后pip 无法使用的解决方法
Jun 12 Python
Python构建图像分类识别器的方法
Jan 12 Python
对python中的float除法和整除法的实例详解
Jul 20 Python
Python有参函数使用代码实例
Jan 06 Python
python解释器安装教程的方法步骤
Jul 02 Python
Python 创建守护进程的示例
Sep 29 Python
浅析python 字典嵌套
Sep 29 Python
Python做图像处理及视频音频文件分离和合成功能
Nov 24 Python
Python爬虫入门教程01之爬取豆瓣Top电影
Jan 24 Python
Python3+Requests+Excel完整接口自动化测试框架的实现
Oct 11 #Python
python二进制读写及特殊码同步实现详解
Oct 11 #Python
Python+Tensorflow+CNN实现车牌识别的示例代码
Oct 11 #Python
命令行运行Python脚本时传入参数的三种方式详解
Oct 11 #Python
python中对_init_的理解及实例解析
Oct 11 #Python
pandas数据处理进阶详解
Oct 11 #Python
结合OpenCV与TensorFlow进行人脸识别的实现
Oct 10 #Python
You might like
php教程 插件机制在PHP中实现方案
2012/11/02 PHP
PHP中的排序函数sort、asort、rsort、krsort、ksort区别分析
2014/08/18 PHP
深入学习微信网址链接解封的防封原理visit_type
2019/08/15 PHP
JavaScript中Math对象使用说明
2008/01/16 Javascript
JS写的数字拼图小游戏代码[学习参考]
2008/10/29 Javascript
AJAX 网页保留浏览器前进后退等功能
2011/02/12 Javascript
Javascript之this关键字深入解析
2013/11/12 Javascript
jQuery同步提交示例代码
2015/12/12 Javascript
解决jquery无法找到其他父级子集问题的方法
2016/05/10 Javascript
浅析Javascript中bind()方法的使用与实现
2016/05/30 Javascript
JavaScript ES6的新特性使用新方法定义Class
2016/06/28 Javascript
javascript完美实现给定日期返回上月日期的方法
2017/06/15 Javascript
详解vue-router数据加载与缓存使用总结
2018/10/29 Javascript
webpack4.x CommonJS模块化浅析
2018/11/09 Javascript
redux.js详解及基本使用
2019/05/24 Javascript
vue项目中引入Sass实例方法
2019/08/27 Javascript
weui中的picker使用js进行动态绑定数据问题
2019/11/06 Javascript
Vue解决移动端弹窗滚动穿透问题
2020/12/15 Vue.js
python列表操作之extend和append的区别实例分析
2015/07/28 Python
Python实现的选择排序算法示例
2017/11/29 Python
python中join()方法介绍
2018/10/11 Python
Python3中函数参数传递方式实例详解
2019/05/05 Python
Python数据类型之列表和元组的方法实例详解
2019/07/08 Python
Django 项目重命名的实现步骤解析
2019/08/14 Python
100%植物性、有机、即食餐:Sakara Life
2018/10/25 全球购物
关于Assembly命名空间的三个面试题
2015/07/23 面试题
毕业生自荐书
2013/12/18 职场文书
单位创先争优活动方案
2014/01/26 职场文书
大学同学聚会邀请函
2014/01/29 职场文书
小松树教学反思
2014/02/11 职场文书
2014学年自我鉴定
2014/02/23 职场文书
租房协议书怎么写
2014/04/10 职场文书
销售员岗位职责
2014/06/09 职场文书
2014年护士个人工作总结
2014/11/11 职场文书
2016关于军训的心得体会
2016/01/11 职场文书
如何让2019年上半年的工作总结更出色!
2019/07/01 职场文书