Python 使用xlwt模块将多行多列数据循环写入excel文档的操作


Posted in Python onNovember 10, 2020

我就废话不多说了,大家还是直接看代码吧~

#!/usr/bin/python
# -*- coding: utf-8 -*-

import xlwt
import re

def host_regex(dataline):
 host_regex = r"<host>(.*?)</host>"
 host = re.findall(host_regex, dataline)
 if host:
  return host[0]

def ip_regex(dataline):
 ip_regex = r"<ip>(.*?)</ip>"
 ip = re.findall(ip_regex, dataline)
 if ip:
  return ip[0]

with open("zbx_export_hosts.xml", "r", encoding="utf8") as f:
 lines = f.readlines()
 alldatas = []
 hostlist = []
 iplist = []
 for line in lines:
  host = host_regex(line)
  ip = ip_regex(line)

  if host is not None:
   hostlist.append(host)
  if ip is not None:
   iplist.append(ip)
 hosts_ip = []
 # 构造数据结构,形如:[[a,b],[c,d],...]
 multi_list = map(list, zip(hostlist, iplist))
 for multi in multi_list:
  hosts_ip.append(multi)
 workbook = xlwt.Workbook()
 worksheet = workbook.add_sheet('test')
 # 关键代码
 for hi in enumerate(hosts_ip):
  for num in range(len(hi[1])):
   # 行、列、值
   worksheet.write(hi[0], num, hi[1][num])

 workbook.save('excelwrite.xls')

PS:其实有两行代码冗余,就不删了!

补充知识:通过python写入xlsx大量数据问题简述

以前批处理生成数据文件都是通过c程序直接按照逗号分隔方式写文本文件以csv保存的。但是由于有些处理的数据表直接给业务人员看,业务人员习惯使用xls,因此提了些需求改造,对于一些小于100w的数据均要求改为xlsx文件格式的报表。

考虑报表文件数据处理便捷,因此决定用python实现,最初使用了openpyxl库,这个python库拥有非常强大的xlsx的读写api,能够很方便的实现读写。但是在实际使用中发现在处理较大行数的xlsx时,占用内存非常严重,8个字段50w行数据在运行中内存高达10G,这不是我们应用服务器能够接受的范围。

因此寻求改善,在网上了解后,发现创建xlsx表时,指定write_only参数是openpyxl提供的大数据写入解决方案,以下摘自官网范例,在选择了此参数后,无法通过ws.cell(row=i, column=j).value = ? 的方式复制,只能通过append的方式追加行。关于设置只写cell设置样式,可以直接查看官网

>>> from openpyxl import Workbook
>>> wb = Workbook(write_only=True)
>>> ws = wb.create_sheet()
>>>
>>> # now we'll fill it with 100 rows x 200 columns
>>>
>>> for irow in range(100):
...  ws.append(['%d' % i for i in range(200)]) #可以先将一行的数据写在一个list中,直接ws.append(list)
>>> # save the file
>>> wb.save('new_big_file.xlsx') # doctest: +SKIP

不过仅仅按上述范例修改write_only跑数时发现内存占用并没有缓解,再仔细阅读官网说明时才发现这么一句话“When you want to dump large amounts of data make sure you have lxml installed.”原来在openpyxl安装时,并没有把lxml作为强依赖,只是一个可选包,然后查实发现确实服务器上并没有安装lxml包。

于是与为了解决这个问题先在测试环境上安装lxml,安装过程也不是很顺利。

首先先要装libxml2以及libxslt,因为没有root权限,均为源码安装,且只能安装在用户目录。需要注意的是libxml2在安装时需要--with-python='python安装目录',libxslt安装的时候需要指定libxml2安装目录。

尤其最后的lxml安装也是坑挺多的,主要是指定libxml2和libxslt,安装lxml时先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。

全部安装完之后,确实openpyxl写xlsx不再增加内存,先在tmp目录一个临时文件中写,待调用save方法时,保存到正式文件。

此外在这个问题解决中,还了解到writexlsx库也可以处理大文件xlsx的写入,并且安装没有这么多的依赖,其实还是非常推荐,也很简介,官网有介绍。

操作大文件时指定{'constant_memory': True}即可。

filename = 'test.xlsx'
wb = xlsxwriter.Workbook(filename, {'constant_memory': True})
ws = wb.add_worksheet('大文件')
i = 0
data= []
data.append('中文')
data.append(1323)
data.append('abc')
ws.write_row(i, 0, data)
i = i + 1
wb.close() #直接关闭即可,不需要额外save

以上这篇Python 使用xlwt模块将多行多列数据循环写入excel文档的操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python迭代器的使用方法实例
Nov 21 Python
Python批量修改文件后缀的方法
Jan 26 Python
简单掌握Python的Collections模块中counter结构的用法
Jul 07 Python
Python使用装饰器进行django开发实例代码
Feb 06 Python
使用python验证代理ip是否可用的实现方法
Jul 25 Python
Python数据类型之Dict字典实例详解
May 07 Python
如何通过50行Python代码获取公众号全部文章
Jul 12 Python
python常用排序算法的实现代码
Nov 08 Python
Python pygame绘制文字制作滚动文字过程解析
Dec 12 Python
Django ValuesQuerySet转json方式
Mar 16 Python
Python 获取异常(Exception)信息的几种方法
Dec 29 Python
python基础之模块的导入
Oct 24 Python
详解vscode实现远程linux服务器上Python开发
Nov 10 #Python
Python调用飞书发送消息的示例
Nov 10 #Python
python中pyplot基础图标函数整理
Nov 10 #Python
python图片合成的示例
Nov 09 #Python
python 实现&quot;神经衰弱&quot;翻牌游戏
Nov 09 #Python
Python字典dict常用方法函数实例
Nov 09 #Python
Python实现哲学家就餐问题实例代码
Nov 09 #Python
You might like
php操作JSON格式数据的实现代码
2011/12/24 PHP
thinkphp获取栏目和文章当前位置的方法
2014/10/29 PHP
php给一组指定关键词添加span标签的方法
2015/03/31 PHP
PHP请求远程地址设置超时时间的解决方法
2016/10/29 PHP
PHP htmlspecialchars() 函数实例代码及用法大全
2018/09/18 PHP
Ajax执行顺序流程及回调问题分析
2012/12/10 Javascript
Javascript:为input设置readOnly属性(示例讲解)
2013/12/25 Javascript
Bootstrap框架动态生成Web页面文章内目录的方法
2016/05/12 Javascript
javascript类型系统_正则表达式RegExp类型详解
2016/06/24 Javascript
js实现select选择框效果及美化
2016/08/19 Javascript
JS实现的透明度渐变动画效果示例
2018/04/28 Javascript
vue el-table实现自定义表头
2019/12/11 Javascript
原生js实现的金山打字小游戏(实例代码详解)
2020/03/16 Javascript
[02:23]DOTA2英雄基础教程 幻影长矛手
2013/12/09 DOTA
[00:43]魔廷新尊——痛苦女王至宝捆绑包
2020/06/12 DOTA
python实现下载文件的三种方法
2017/02/09 Python
用matplotlib画等高线图详解
2017/12/14 Python
pycharm+django创建一个搜索网页实例代码
2018/01/24 Python
Python实现PS图像调整之对比度调整功能示例
2018/01/26 Python
python编程测试电脑开启最大线程数实例代码
2018/02/09 Python
python自动化测试之如何解析excel文件
2019/06/27 Python
python opencv把一张图片嵌入(叠加)到另一张图片上的实现代码
2020/06/11 Python
Python实现上下文管理器的方法
2020/08/07 Python
详解基于Scrapy的IP代理池搭建
2020/09/29 Python
利用python 下载bilibili视频
2020/11/13 Python
HTML5 canvas 基本语法
2009/08/26 HTML / CSS
html2canvas把div保存图片高清图的方法示例
2018/03/05 HTML / CSS
RUIFIER官网:英国奢侈高级珠宝品牌
2020/06/12 全球购物
装饰资料员岗位职责
2013/12/30 职场文书
人事专员职责
2014/02/22 职场文书
买卖车协议书
2014/04/21 职场文书
如何写求职信
2014/05/24 职场文书
2015年污水处理厂工作总结
2015/05/26 职场文书
《生物入侵者》教学反思
2016/02/16 职场文书
python机器学习创建基于规则聊天机器人过程示例详解
2021/11/02 Python
Vue+TypeScript中处理computed方式
2022/04/02 Vue.js