Python 使用xlwt模块将多行多列数据循环写入excel文档的操作


Posted in Python onNovember 10, 2020

我就废话不多说了,大家还是直接看代码吧~

#!/usr/bin/python
# -*- coding: utf-8 -*-

import xlwt
import re

def host_regex(dataline):
 host_regex = r"<host>(.*?)</host>"
 host = re.findall(host_regex, dataline)
 if host:
  return host[0]

def ip_regex(dataline):
 ip_regex = r"<ip>(.*?)</ip>"
 ip = re.findall(ip_regex, dataline)
 if ip:
  return ip[0]

with open("zbx_export_hosts.xml", "r", encoding="utf8") as f:
 lines = f.readlines()
 alldatas = []
 hostlist = []
 iplist = []
 for line in lines:
  host = host_regex(line)
  ip = ip_regex(line)

  if host is not None:
   hostlist.append(host)
  if ip is not None:
   iplist.append(ip)
 hosts_ip = []
 # 构造数据结构,形如:[[a,b],[c,d],...]
 multi_list = map(list, zip(hostlist, iplist))
 for multi in multi_list:
  hosts_ip.append(multi)
 workbook = xlwt.Workbook()
 worksheet = workbook.add_sheet('test')
 # 关键代码
 for hi in enumerate(hosts_ip):
  for num in range(len(hi[1])):
   # 行、列、值
   worksheet.write(hi[0], num, hi[1][num])

 workbook.save('excelwrite.xls')

PS:其实有两行代码冗余,就不删了!

补充知识:通过python写入xlsx大量数据问题简述

以前批处理生成数据文件都是通过c程序直接按照逗号分隔方式写文本文件以csv保存的。但是由于有些处理的数据表直接给业务人员看,业务人员习惯使用xls,因此提了些需求改造,对于一些小于100w的数据均要求改为xlsx文件格式的报表。

考虑报表文件数据处理便捷,因此决定用python实现,最初使用了openpyxl库,这个python库拥有非常强大的xlsx的读写api,能够很方便的实现读写。但是在实际使用中发现在处理较大行数的xlsx时,占用内存非常严重,8个字段50w行数据在运行中内存高达10G,这不是我们应用服务器能够接受的范围。

因此寻求改善,在网上了解后,发现创建xlsx表时,指定write_only参数是openpyxl提供的大数据写入解决方案,以下摘自官网范例,在选择了此参数后,无法通过ws.cell(row=i, column=j).value = ? 的方式复制,只能通过append的方式追加行。关于设置只写cell设置样式,可以直接查看官网

>>> from openpyxl import Workbook
>>> wb = Workbook(write_only=True)
>>> ws = wb.create_sheet()
>>>
>>> # now we'll fill it with 100 rows x 200 columns
>>>
>>> for irow in range(100):
...  ws.append(['%d' % i for i in range(200)]) #可以先将一行的数据写在一个list中,直接ws.append(list)
>>> # save the file
>>> wb.save('new_big_file.xlsx') # doctest: +SKIP

不过仅仅按上述范例修改write_only跑数时发现内存占用并没有缓解,再仔细阅读官网说明时才发现这么一句话“When you want to dump large amounts of data make sure you have lxml installed.”原来在openpyxl安装时,并没有把lxml作为强依赖,只是一个可选包,然后查实发现确实服务器上并没有安装lxml包。

于是与为了解决这个问题先在测试环境上安装lxml,安装过程也不是很顺利。

首先先要装libxml2以及libxslt,因为没有root权限,均为源码安装,且只能安装在用户目录。需要注意的是libxml2在安装时需要--with-python='python安装目录',libxslt安装的时候需要指定libxml2安装目录。

尤其最后的lxml安装也是坑挺多的,主要是指定libxml2和libxslt,安装lxml时先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。

全部安装完之后,确实openpyxl写xlsx不再增加内存,先在tmp目录一个临时文件中写,待调用save方法时,保存到正式文件。

此外在这个问题解决中,还了解到writexlsx库也可以处理大文件xlsx的写入,并且安装没有这么多的依赖,其实还是非常推荐,也很简介,官网有介绍。

操作大文件时指定{'constant_memory': True}即可。

filename = 'test.xlsx'
wb = xlsxwriter.Workbook(filename, {'constant_memory': True})
ws = wb.add_worksheet('大文件')
i = 0
data= []
data.append('中文')
data.append(1323)
data.append('abc')
ws.write_row(i, 0, data)
i = i + 1
wb.close() #直接关闭即可,不需要额外save

以上这篇Python 使用xlwt模块将多行多列数据循环写入excel文档的操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python+flask实现API的方法
Nov 21 Python
对python的bytes类型数据split分割切片方法
Dec 04 Python
Python3 SSH远程连接服务器的方法示例
Dec 29 Python
详解Python静态网页爬取获取高清壁纸
Apr 23 Python
python 含子图的gif生成时内存溢出的方法
Jul 07 Python
Django xadmin开启搜索功能的实现
Nov 15 Python
python、PyTorch图像读取与numpy转换实例
Jan 13 Python
python系统指定文件的查找只输出目录下所有文件及文件夹
Jan 19 Python
Python的scikit-image模块实例讲解
Dec 30 Python
Python基础详解之邮件处理
Apr 28 Python
Python+Appium自动化测试的实战
Jun 30 Python
Pandas 稀疏数据结构的实现
Jul 25 Python
详解vscode实现远程linux服务器上Python开发
Nov 10 #Python
Python调用飞书发送消息的示例
Nov 10 #Python
python中pyplot基础图标函数整理
Nov 10 #Python
python图片合成的示例
Nov 09 #Python
python 实现&quot;神经衰弱&quot;翻牌游戏
Nov 09 #Python
Python字典dict常用方法函数实例
Nov 09 #Python
Python实现哲学家就餐问题实例代码
Nov 09 #Python
You might like
多php服务器实现多session并发运行
2006/10/09 PHP
thinkphp隐藏index.php/home并允许访问其他模块的实现方法
2016/10/13 PHP
php多进程模拟并发事务产生的问题小结
2018/12/07 PHP
JavaScript 版本自动生成文章摘要
2008/07/23 Javascript
比较全的JS checkbox全选、取消全选、删除功能代码
2008/12/19 Javascript
xml文档转换工具,附图表例子(hta)
2010/11/17 Javascript
JQuery实现用户名无刷新验证的小例子
2013/03/22 Javascript
jquery中load方法的用法及注意事项说明
2014/02/22 Javascript
浅谈JavaScript中null和undefined
2015/07/09 Javascript
js获取Html元素的实际宽度高度的方法
2016/05/19 Javascript
Google 地图事件实例讲解
2016/08/06 Javascript
angular学习之ngRoute路由机制
2017/04/12 Javascript
JS组件系列之MVVM组件 vue 30分钟搞定前端增删改查
2017/04/28 Javascript
jQuery+koa2实现简单的Ajax请求的示例
2018/03/06 jQuery
浅谈Vue.js路由管理器 Vue Router
2018/08/16 Javascript
详解SPA中前端路由基本原理与实现方式
2018/09/12 Javascript
javacript replace 正则取字符串中的值并替换【推荐】
2018/09/13 Javascript
vue实现微信获取用户信息的方法
2019/03/21 Javascript
vue实现一拉到底的滑动验证
2019/07/25 Javascript
Vue实现简易计算器
2020/02/25 Javascript
JavaScript鼠标悬停事件用法解析
2020/05/15 Javascript
[55:23]VGJ.T vs Winstrike 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/20 DOTA
[53:52]OG vs EG 2018国际邀请赛淘汰赛BO3 第二场 8.23
2018/08/24 DOTA
python检测远程端口是否打开的方法
2015/03/14 Python
Python实现中一次读取多个值的方法
2018/04/22 Python
python代码实现将列表中重复元素之间的内容全部滤除
2020/05/22 Python
详解python os.path.exists判断文件或文件夹是否存在
2020/11/16 Python
阿玛尼意大利官网:Armani意大利
2018/10/30 全球购物
世界上第一个水枕头:Mediflow
2018/12/06 全球购物
英国123鲜花网站:123 Flowers
2019/07/07 全球购物
网络工程师面试(三木通信技术有限公司)
2013/06/05 面试题
四年级下册教学反思
2014/02/01 职场文书
放飞梦想演讲稿200字
2014/08/26 职场文书
导游词之江苏同里古镇
2019/11/18 职场文书
JavaScript 实现页面滚动动画
2021/04/24 Javascript
使用jpa之动态插入与修改(重写save)
2021/11/23 Java/Android