首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

横向对比分析Python解析XML的四种方式

Posted in Python onMarch 30, 2016

在最初学习PYTHON的时候，只知道有DOM和SAX两种解析方法，但是其效率都不够理想，由于需要处理的文件数量太大，这两种方式耗时太高无法接受。

在网络搜索后发现，目前应用比较广泛，且效率相对较高的ElementTree也是一个比较多人推荐的算法，于是拿这个算法来实测对比，ElementTree也包括两种实现，一个是普通ElementTree（ET），一个是ElementTree.iterparse（ET_iter）。

本文将对DOM、SAX、ET、ET_iter四种方式进行横向对比，通过处理相同文件比较各个算法的用时来评估其效率。

程序中将四种解析方法均写为函数，在主程序中分别调用，来评估其解析效率。

解压后的XML文件内容示例为：

横向对比分析Python解析XML的四种方式

主程序函数调用部分代码为：

print("文件计数：%d/%d." % (gz_cnt,paser_num))
  str_s,cnt = dom_parser(gz)
  #str_s,cnt = sax_parser(gz)
  #str_s,cnt = ET_parser(gz)
  #str_s,cnt = ET_parser_iter(gz)
  output.write(str_s)
  vs_cnt += cnt

在最初的函数调用中函数返回两个值，但接收函数调用值时用两个变量分别调用，导致每个函数都要执行两次，之后修改为一次调用两个变量接收返回值，减少了无效调用。

1、DOM解析

函数定义代码：

def dom_parser(gz):
  import gzip,cStringIO
  import xml.dom.minidom
  
  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  doc = xml.dom.minidom.parseString(xm.read())
  bulkPmMrDataFile = doc.documentElement
  #读入子元素
  enbs = bulkPmMrDataFile.getElementsByTagName("eNB")
  measurements = enbs[0].getElementsByTagName("measurement")
  objects = measurements[0].getElementsByTagName("object")
  #写入csv文件
  for object in objects:
    vs = object.getElementsByTagName("v")
    vs_cnt += len(vs)
    for v in vs:
      file_io.write(enbs[0].getAttribute("id")+' '+object.getAttribute("id")+' '+\
      object.getAttribute("MmeUeS1apId")+' '+object.getAttribute("MmeGroupId")+' '+object.getAttribute("MmeCode")+' '+\
      object.getAttribute("TimeStamp")+' '+v.childNodes[0].data+'\n') #获取文本值
  str_s = (((file_io.getvalue().replace(' \n','\r\n')).replace(' ',',')).replace('T',' ')).replace('NIL','')
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
………………………………………
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：107.077867，每秒处理行数：1660。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
由于DOM解析需要将整个文件读入内存，并建立树结构，其内存消耗和时间消耗都比较高，但其优点在于逻辑简单，不需要定义回调函数，便于实现。

2、SAX解析

函数定义代码：

def sax_parser(gz):
  import os,gzip,cStringIO
  from xml.parsers.expat import ParserCreate

  #变量声明
  d_eNB = {}
  d_obj = {}
  s = ''
  global flag 
  flag = False
  file_io = cStringIO.StringIO()
  
  #Sax解析类
  class DefaultSaxHandler(object):
    #处理开始标签
    def start_element(self, name, attrs):
      global d_eNB
      global d_obj
      global vs_cnt
      if name == 'eNB':
        d_eNB = attrs
      elif name == 'object':
        d_obj = attrs
      elif name == 'v':
        file_io.write(d_eNB['id']+' '+ d_obj['id']+' '+d_obj['MmeUeS1apId']+' '+d_obj['MmeGroupId']+' '+d_obj['MmeCode']+' '+d_obj['TimeStamp']+' ')
        vs_cnt += 1
      else:
        pass
    #处理中间文本
    def char_data(self, text):
      global d_eNB
      global d_obj
      global flag
      if text[0:1].isnumeric():
        file_io.write(text)
      elif text[0:17] == 'MR.LteScPlrULQci1':
        flag = True
        #print(text,flag)
      else:
        pass
    #处理结束标签
    def end_element(self, name):
      global d_eNB
      global d_obj
      if name == 'v':
        file_io.write('\n')
      else:
        pass
  
  #Sax解析调用
  handler = DefaultSaxHandler()
  parser = ParserCreate()
  parser.StartElementHandler = handler.start_element
  parser.EndElementHandler = handler.end_element
  parser.CharacterDataHandler = handler.char_data
  vs_cnt = 0
  str_s = ''
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  for line in xm.readlines():
    parser.Parse(line) #解析xml文件内容
    if flag:
      break
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
.........................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：14.386779，每秒处理行数：12361。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
SAX解析相比DOM解析，运行时间大幅缩短，由于SAX采用逐行解析，对于处理较大文件其占用内存也少，因此SAX解析是目前应用较多的一种解析方法。其缺点在于需要自己实现回调函数，逻辑较为复杂。

3、ET解析

函数定义代码：

def ET_parser(gz):
  import os,gzip,cStringIO
  import xml.etree.cElementTree as ET

  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  tree = ET.ElementTree(file=xm)
  root = tree.getroot()
  for elem in root[1][0].findall('object'):
      for v in elem.findall('v'):
          file_io.write(root[1].attrib['id']+' '+elem.attrib['TimeStamp']+' '+elem.attrib['MmeCode']+' '+\
          elem.attrib['id']+' '+ elem.attrib['MmeUeS1apId']+' '+ elem.attrib['MmeGroupId']+' '+ v.text+'\n')
      vs_cnt += 1
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
...........................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：4.308103，每秒处理行数：41282。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
相较于SAX解析，ET解析时间更短，并且函数实现也比较简单，所以ET具有类似DOM的简单逻辑实现且匹敌SAX的解析效率，因此ET是目前XML解析的首选。

4、ET_iter解析

函数定义代码：

def ET_parser_iter(gz):
  import os,gzip,cStringIO
  import xml.etree.cElementTree as ET

  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  d_eNB = {}
  d_obj = {}
  i = 0
  for event,elem in ET.iterparse(xm,events=('start','end')):
    if i >= 2:
      break    
    elif event == 'start':
          if elem.tag == 'eNB':
              d_eNB = elem.attrib
          elif elem.tag == 'object':
        d_obj = elem.attrib
      elif event == 'end' and elem.tag == 'smr':
      i += 1
    elif event == 'end' and elem.tag == 'v':
      file_io.write(d_eNB['id']+' '+d_obj['TimeStamp']+' '+d_obj['MmeCode']+' '+d_obj['id']+' '+\
      d_obj['MmeUeS1apId']+' '+ d_obj['MmeGroupId']+' '+str(elem.text)+'\n')
          vs_cnt += 1
      elem.clear()
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
...................................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：3.043805，每秒处理行数：58429。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
在引入了ET_iter解析后，解析效率比ET提升了近50%，而相较于DOM解析更是提升了35倍，在解析效率提升的同时，由于其采用了iterparse这个循序解析的工具，其内存占用也是比较小的。

所以，小伙伴们，请好好利用这几种工具吧。
以上就是本文的全部内容，希望对大家的学习有所帮助。

横向对比分析Python解析XML的四种方式

- Author -

zhangshuyx

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python基础教程之lambda表达式使用方法
Feb 12 Python
介绍Python中的一些高级编程技巧
Apr 02 Python
Python分析学校四六级过关情况
Nov 22 Python
python 读入多行数据的实例
Apr 19 Python
Python嵌套列表转一维的方法(压平嵌套列表)
Jul 03 Python
Python设计模式之建造者模式实例详解
Jan 17 Python
Python常见读写文件操作实例总结【文本、json、csv、pdf等】
Apr 15 Python
Django-rest-framework中过滤器的定制实例
Apr 01 Python
django filter过滤器实现显示某个类型指定字段不同值方式
Jul 16 Python
关于python3.7安装matplotlib始终无法成功的问题的解决
Jul 28 Python
python实现计算图形面积
Feb 22 Python
python引入其他文件夹下的py文件具体方法
May 23 Python
python简单实现刷新智联简历
Mar 30 #Python
详解Python迭代和迭代器
Mar 28 #Python
Python读大数据txt
Mar 28 #Python
Python常用的爬虫技巧总结
Mar 28 #Python
Python对数据库操作
Mar 28 #Python
Python字符串切片操作知识详解
Mar 28 #Python
python Django框架实现自定义表单提交
Mar 25 #Python
AM(1) 发烧友(1) 电路(15) 频率(1) 频偏(1) 数调机(1) 实习报告(1) 鉴频器(1) 高放电路(1) 灵敏度(1)
You might like
Linux下PHP连接Oracle数据库
2014/08/20 PHP
使用新浪微博API的OAuth认证发布微博实例
2015/03/27 PHP
thinkPHP5.1框架路由::get、post请求简单用法示例
2019/05/06 PHP
js或者jquery判断图片是否加载完成实现代码
2013/03/20 Javascript
JS 实现图片直接下载示例代码
2013/07/22 Javascript
jQuery通过扩展实现抖动效果的方法
2015/03/11 Javascript
BootStrap Table 分页后重新搜索问题的解决办法
2016/08/08 Javascript
jQuery利用sort对DOM元素进行排序操作
2016/11/07 Javascript
jquery实现放大镜简洁代码(推荐)
2017/06/08 jQuery
JS实现自动轮播图效果(自适应屏幕宽度+手机触屏滑动)
2017/06/19 Javascript
webpack进阶——缓存与独立打包的用法
2017/08/02 Javascript
从零开始最小实现react服务器渲染详解
2018/01/26 Javascript
Vue监听一个数组id是否与另一个数组id相同的方法
2018/09/26 Javascript
Vue列表渲染的示例代码
2018/11/01 Javascript
jquery实现商品sku多属性选择功能（商品详情页）
2019/12/20 jQuery
python调用java的Webservice示例
2014/03/10 Python
python 限制函数执行时间,自己实现timeout的实例
2019/01/12 Python
python实现图片压缩代码实例
2019/08/12 Python
使用Python制作一个打字训练小工具
2019/10/01 Python
python中count函数简单用法
2020/01/05 Python
Django微信小程序后台开发教程的实现
2020/06/03 Python
Windows 平台做 Python 开发的最佳组合(推荐)
2020/07/27 Python
基于Html5实现的react拖拽排序组件示例
2018/08/13 HTML / CSS
美国转售二手商品的电子商务平台：BLINQ
2018/12/13 全球购物
Beach Bunny Swimwear官网：设计师泳装和性感比基尼
2019/03/13 全球购物
高中毕业自我鉴定范文
2013/10/02 职场文书
财务分析个人的自荐书范文
2013/11/24 职场文书
行政工作个人的自我评价
2014/02/13 职场文书
走进敬老院活动总结
2014/07/10 职场文书
考试保密承诺书
2014/08/30 职场文书
教师拔河比赛广播稿
2014/10/14 职场文书
民主评议党员登记表自我评价
2014/10/20 职场文书
医生辞职信范文
2015/03/02 职场文书
thinkphp 获取控制器及控制器方法
2021/04/16 PHP
SpringBoot整合Minio文件存储
2022/04/03 Java/Android
常用的文件对应的MIME类型汇总
2022/04/26 HTML / CSS