首页
所有分类
TAGS
文字工具 EMOJI BIBLE
编程 Python

横向对比分析Python解析XML的四种方式

Posted in Python onMarch 30, 2016

在最初学习PYTHON的时候，只知道有DOM和SAX两种解析方法，但是其效率都不够理想，由于需要处理的文件数量太大，这两种方式耗时太高无法接受。

在网络搜索后发现，目前应用比较广泛，且效率相对较高的ElementTree也是一个比较多人推荐的算法，于是拿这个算法来实测对比，ElementTree也包括两种实现，一个是普通ElementTree（ET），一个是ElementTree.iterparse（ET_iter）。

本文将对DOM、SAX、ET、ET_iter四种方式进行横向对比，通过处理相同文件比较各个算法的用时来评估其效率。

程序中将四种解析方法均写为函数，在主程序中分别调用，来评估其解析效率。

解压后的XML文件内容示例为：

横向对比分析Python解析XML的四种方式

主程序函数调用部分代码为：

print("文件计数：%d/%d." % (gz_cnt,paser_num))
  str_s,cnt = dom_parser(gz)
  #str_s,cnt = sax_parser(gz)
  #str_s,cnt = ET_parser(gz)
  #str_s,cnt = ET_parser_iter(gz)
  output.write(str_s)
  vs_cnt += cnt

在最初的函数调用中函数返回两个值，但接收函数调用值时用两个变量分别调用，导致每个函数都要执行两次，之后修改为一次调用两个变量接收返回值，减少了无效调用。

1、DOM解析

函数定义代码：

def dom_parser(gz):
  import gzip,cStringIO
  import xml.dom.minidom
  
  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  doc = xml.dom.minidom.parseString(xm.read())
  bulkPmMrDataFile = doc.documentElement
  #读入子元素
  enbs = bulkPmMrDataFile.getElementsByTagName("eNB")
  measurements = enbs[0].getElementsByTagName("measurement")
  objects = measurements[0].getElementsByTagName("object")
  #写入csv文件
  for object in objects:
    vs = object.getElementsByTagName("v")
    vs_cnt += len(vs)
    for v in vs:
      file_io.write(enbs[0].getAttribute("id")+' '+object.getAttribute("id")+' '+\
      object.getAttribute("MmeUeS1apId")+' '+object.getAttribute("MmeGroupId")+' '+object.getAttribute("MmeCode")+' '+\
      object.getAttribute("TimeStamp")+' '+v.childNodes[0].data+'\n') #获取文本值
  str_s = (((file_io.getvalue().replace(' \n','\r\n')).replace(' ',',')).replace('T',' ')).replace('NIL','')
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
………………………………………
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：107.077867，每秒处理行数：1660。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
由于DOM解析需要将整个文件读入内存，并建立树结构，其内存消耗和时间消耗都比较高，但其优点在于逻辑简单，不需要定义回调函数，便于实现。

2、SAX解析

函数定义代码：

def sax_parser(gz):
  import os,gzip,cStringIO
  from xml.parsers.expat import ParserCreate

  #变量声明
  d_eNB = {}
  d_obj = {}
  s = ''
  global flag 
  flag = False
  file_io = cStringIO.StringIO()
  
  #Sax解析类
  class DefaultSaxHandler(object):
    #处理开始标签
    def start_element(self, name, attrs):
      global d_eNB
      global d_obj
      global vs_cnt
      if name == 'eNB':
        d_eNB = attrs
      elif name == 'object':
        d_obj = attrs
      elif name == 'v':
        file_io.write(d_eNB['id']+' '+ d_obj['id']+' '+d_obj['MmeUeS1apId']+' '+d_obj['MmeGroupId']+' '+d_obj['MmeCode']+' '+d_obj['TimeStamp']+' ')
        vs_cnt += 1
      else:
        pass
    #处理中间文本
    def char_data(self, text):
      global d_eNB
      global d_obj
      global flag
      if text[0:1].isnumeric():
        file_io.write(text)
      elif text[0:17] == 'MR.LteScPlrULQci1':
        flag = True
        #print(text,flag)
      else:
        pass
    #处理结束标签
    def end_element(self, name):
      global d_eNB
      global d_obj
      if name == 'v':
        file_io.write('\n')
      else:
        pass
  
  #Sax解析调用
  handler = DefaultSaxHandler()
  parser = ParserCreate()
  parser.StartElementHandler = handler.start_element
  parser.EndElementHandler = handler.end_element
  parser.CharacterDataHandler = handler.char_data
  vs_cnt = 0
  str_s = ''
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  for line in xm.readlines():
    parser.Parse(line) #解析xml文件内容
    if flag:
      break
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
.........................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：14.386779，每秒处理行数：12361。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
SAX解析相比DOM解析，运行时间大幅缩短，由于SAX采用逐行解析，对于处理较大文件其占用内存也少，因此SAX解析是目前应用较多的一种解析方法。其缺点在于需要自己实现回调函数，逻辑较为复杂。

3、ET解析

函数定义代码：

def ET_parser(gz):
  import os,gzip,cStringIO
  import xml.etree.cElementTree as ET

  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  tree = ET.ElementTree(file=xm)
  root = tree.getroot()
  for elem in root[1][0].findall('object'):
      for v in elem.findall('v'):
          file_io.write(root[1].attrib['id']+' '+elem.attrib['TimeStamp']+' '+elem.attrib['MmeCode']+' '+\
          elem.attrib['id']+' '+ elem.attrib['MmeUeS1apId']+' '+ elem.attrib['MmeGroupId']+' '+ v.text+'\n')
      vs_cnt += 1
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
...........................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：4.308103，每秒处理行数：41282。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
相较于SAX解析，ET解析时间更短，并且函数实现也比较简单，所以ET具有类似DOM的简单逻辑实现且匹敌SAX的解析效率，因此ET是目前XML解析的首选。

4、ET_iter解析

函数定义代码：

def ET_parser_iter(gz):
  import os,gzip,cStringIO
  import xml.etree.cElementTree as ET

  vs_cnt = 0
  str_s = ''
  file_io = cStringIO.StringIO()
  xm = gzip.open(gz,'rb')
  print("已读入：%s.\n解析中：" % (os.path.abspath(gz)))
  d_eNB = {}
  d_obj = {}
  i = 0
  for event,elem in ET.iterparse(xm,events=('start','end')):
    if i >= 2:
      break    
    elif event == 'start':
          if elem.tag == 'eNB':
              d_eNB = elem.attrib
          elif elem.tag == 'object':
        d_obj = elem.attrib
      elif event == 'end' and elem.tag == 'smr':
      i += 1
    elif event == 'end' and elem.tag == 'v':
      file_io.write(d_eNB['id']+' '+d_obj['TimeStamp']+' '+d_obj['MmeCode']+' '+d_obj['id']+' '+\
      d_obj['MmeUeS1apId']+' '+ d_obj['MmeGroupId']+' '+str(elem.text)+'\n')
          vs_cnt += 1
      elem.clear()
  str_s = file_io.getvalue().replace(' \n','\r\n').replace(' ',',').replace('T',' ').replace('NIL','')  #写入解析后内容
  xm.close()
  file_io.close()
  return (str_s,vs_cnt)

程序运行结果：

**************************************************
程序处理启动。
输入目录为：/tmcdata/mro2csv/input31/。
输出目录为：/tmcdata/mro2csv/output31/。
输入目录下.gz文件个数为：12，本次处理其中的12个。
**************************************************
文件计数：1/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_234598_20160224060000.xml.gz.
解析中：
文件计数：2/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_233798_20160224060000.xml.gz.
解析中：
文件计数：3/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_123798_20160224060000.xml.gz.
解析中：
...................................................
文件计数：12/12.
已读入：/tmcdata/mro2csv/input31/TD-LTE_MRO_NSN_OMC_235598_20160224060000.xml.gz.
解析中：
VS行计数：177849，运行时间：3.043805，每秒处理行数：58429。
已写入：/tmcdata/mro2csv/output31/mro_0001.csv。

**************************************************
程序处理结束。
在引入了ET_iter解析后，解析效率比ET提升了近50%，而相较于DOM解析更是提升了35倍，在解析效率提升的同时，由于其采用了iterparse这个循序解析的工具，其内存占用也是比较小的。

所以，小伙伴们，请好好利用这几种工具吧。
以上就是本文的全部内容，希望对大家的学习有所帮助。

横向对比分析Python解析XML的四种方式

- Author -

zhangshuyx

声明：登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。

Python 相关文章推荐
python使用threading获取线程函数返回值的实现方法
Nov 15 Python
Numpy数组转置的两种实现方法
Apr 17 Python
python list格式数据excel导出方法
Oct 31 Python
python pygame实现方向键控制小球
May 17 Python
Python 实现还原已撤回的微信消息
Jun 18 Python
python 图像处理画一个正弦函数代码实例
Sep 10 Python
pytorch 实现在预训练模型的 input上增减通道
Jan 06 Python
Python如何使用paramiko模块连接linux
Mar 18 Python
Python函数参数定义及传递方式解析
Jun 10 Python
python 动态绘制爱心的示例
Sep 27 Python
python中sys模块的介绍与实例
Apr 17 Python
Python+SeaTable实现计算两个日期间的工作日天数
Jul 07 Python
python简单实现刷新智联简历
Mar 30 #Python
详解Python迭代和迭代器
Mar 28 #Python
Python读大数据txt
Mar 28 #Python
Python常用的爬虫技巧总结
Mar 28 #Python
Python对数据库操作
Mar 28 #Python
Python字符串切片操作知识详解
Mar 28 #Python
python Django框架实现自定义表单提交
Mar 25 #Python
磁盘管理(1) 条码(1) Word(2) 延时任务(1) Post(1) 二维码(2) Get(1) 目录管理(1) 日志(1) 太阳码(1)
You might like
一键删除顽固的空文件夹 软件下载
2007/01/26 PHP
PHP异常处理Exception类
2015/12/11 PHP
PHP给源代码加密的几种方法汇总(推荐)
2018/02/06 PHP
php正确输出json数据的实例讲解
2018/08/21 PHP
javascript学习随笔(使用window和frame)的技巧
2007/03/08 Javascript
js 操作css实现代码
2009/06/11 Javascript
根据出生日期自动取得星座的js代码
2010/07/20 Javascript
JavaScript基础篇之变量作用域、传值、传址的简单介绍与实例
2013/06/29 Javascript
jquery属性选择器not has怎么写 行悬停高亮显示
2013/11/13 Javascript
ES6新数据结构Set与WeakSet用法分析
2017/03/31 Javascript
js轮播图无缝滚动效果
2017/06/17 Javascript
Node.js中使用mongoose操作mongodb数据库的方法
2017/09/12 Javascript
vue 监听某个div垂直滚动条下拉到底部的方法
2018/09/15 Javascript
Webpack中loader打包各种文件的方法实例
2019/09/03 Javascript
Layer组件多个iframe弹出层打开与关闭及参数传递的方法
2019/09/25 Javascript
weui上传多图片,压缩,base64编码的示例代码
2020/06/22 Javascript
js禁止查看源文件屏蔽Ctrl+u/s、F12、右键等兼容IE火狐chrome
2020/10/01 Javascript
vue3.0实现插件封装
2020/12/14 Vue.js
17个Python小技巧分享
2015/01/23 Python
Python实现简单的代理服务器
2015/07/25 Python
在windows下快速搭建web.py开发框架方法
2016/04/22 Python
python如何实现单链表的反转
2020/02/10 Python
python列表返回重复数据的下标
2020/02/10 Python
python实现在内存中读写str和二进制数据代码
2020/04/24 Python
Python实现手势识别
2020/10/21 Python
html5的canvas方法使用指南
2014/12/15 HTML / CSS
办公室文书岗位职责
2013/12/16 职场文书
支部书记四风问题对照检查材料
2014/10/04 职场文书
干部作风建设工作总结
2014/10/29 职场文书
初中毕业生自我评价
2015/03/02 职场文书
员工开除通知书
2015/04/25 职场文书
学生检讨书怎么写
2015/05/07 职场文书
2016五一手机促销广告语
2016/01/28 职场文书
导游词之桂林山水
2019/09/20 职场文书
python状态机transitions库详解
2021/06/02 Python
OpenCV实现普通阈值
2021/11/17 Java/Android