Python 使用xlwt模块将多行多列数据循环写入excel文档的操作


Posted in Python onNovember 10, 2020

我就废话不多说了,大家还是直接看代码吧~

#!/usr/bin/python
# -*- coding: utf-8 -*-

import xlwt
import re

def host_regex(dataline):
 host_regex = r"<host>(.*?)</host>"
 host = re.findall(host_regex, dataline)
 if host:
  return host[0]

def ip_regex(dataline):
 ip_regex = r"<ip>(.*?)</ip>"
 ip = re.findall(ip_regex, dataline)
 if ip:
  return ip[0]

with open("zbx_export_hosts.xml", "r", encoding="utf8") as f:
 lines = f.readlines()
 alldatas = []
 hostlist = []
 iplist = []
 for line in lines:
  host = host_regex(line)
  ip = ip_regex(line)

  if host is not None:
   hostlist.append(host)
  if ip is not None:
   iplist.append(ip)
 hosts_ip = []
 # 构造数据结构,形如:[[a,b],[c,d],...]
 multi_list = map(list, zip(hostlist, iplist))
 for multi in multi_list:
  hosts_ip.append(multi)
 workbook = xlwt.Workbook()
 worksheet = workbook.add_sheet('test')
 # 关键代码
 for hi in enumerate(hosts_ip):
  for num in range(len(hi[1])):
   # 行、列、值
   worksheet.write(hi[0], num, hi[1][num])

 workbook.save('excelwrite.xls')

PS:其实有两行代码冗余,就不删了!

补充知识:通过python写入xlsx大量数据问题简述

以前批处理生成数据文件都是通过c程序直接按照逗号分隔方式写文本文件以csv保存的。但是由于有些处理的数据表直接给业务人员看,业务人员习惯使用xls,因此提了些需求改造,对于一些小于100w的数据均要求改为xlsx文件格式的报表。

考虑报表文件数据处理便捷,因此决定用python实现,最初使用了openpyxl库,这个python库拥有非常强大的xlsx的读写api,能够很方便的实现读写。但是在实际使用中发现在处理较大行数的xlsx时,占用内存非常严重,8个字段50w行数据在运行中内存高达10G,这不是我们应用服务器能够接受的范围。

因此寻求改善,在网上了解后,发现创建xlsx表时,指定write_only参数是openpyxl提供的大数据写入解决方案,以下摘自官网范例,在选择了此参数后,无法通过ws.cell(row=i, column=j).value = ? 的方式复制,只能通过append的方式追加行。关于设置只写cell设置样式,可以直接查看官网

>>> from openpyxl import Workbook
>>> wb = Workbook(write_only=True)
>>> ws = wb.create_sheet()
>>>
>>> # now we'll fill it with 100 rows x 200 columns
>>>
>>> for irow in range(100):
...  ws.append(['%d' % i for i in range(200)]) #可以先将一行的数据写在一个list中,直接ws.append(list)
>>> # save the file
>>> wb.save('new_big_file.xlsx') # doctest: +SKIP

不过仅仅按上述范例修改write_only跑数时发现内存占用并没有缓解,再仔细阅读官网说明时才发现这么一句话“When you want to dump large amounts of data make sure you have lxml installed.”原来在openpyxl安装时,并没有把lxml作为强依赖,只是一个可选包,然后查实发现确实服务器上并没有安装lxml包。

于是与为了解决这个问题先在测试环境上安装lxml,安装过程也不是很顺利。

首先先要装libxml2以及libxslt,因为没有root权限,均为源码安装,且只能安装在用户目录。需要注意的是libxml2在安装时需要--with-python='python安装目录',libxslt安装的时候需要指定libxml2安装目录。

尤其最后的lxml安装也是坑挺多的,主要是指定libxml2和libxslt,安装lxml时先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。

全部安装完之后,确实openpyxl写xlsx不再增加内存,先在tmp目录一个临时文件中写,待调用save方法时,保存到正式文件。

此外在这个问题解决中,还了解到writexlsx库也可以处理大文件xlsx的写入,并且安装没有这么多的依赖,其实还是非常推荐,也很简介,官网有介绍。

操作大文件时指定{'constant_memory': True}即可。

filename = 'test.xlsx'
wb = xlsxwriter.Workbook(filename, {'constant_memory': True})
ws = wb.add_worksheet('大文件')
i = 0
data= []
data.append('中文')
data.append(1323)
data.append('abc')
ws.write_row(i, 0, data)
i = i + 1
wb.close() #直接关闭即可,不需要额外save

以上这篇Python 使用xlwt模块将多行多列数据循环写入excel文档的操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python内置函数的用法实例教程
Sep 08 Python
python实现一次创建多级目录的方法
May 15 Python
Python批量转换文件编码格式
May 17 Python
Python判断文件和字符串编码类型的实例
Dec 21 Python
python如何统计序列中元素
Jul 31 Python
Python3中的json模块使用详解
May 05 Python
Python小白必备的8个最常用的内置函数(推荐)
Apr 03 Python
python画图常规设置方式
Mar 05 Python
Django Auth用户认证组件实现代码
Oct 13 Python
基于python制作简易版学生信息管理系统
Apr 20 Python
为了顺利买到演唱会的票用Python制作了自动抢票的脚本
Oct 16 Python
python中if和elif的区别介绍
Nov 07 Python
详解vscode实现远程linux服务器上Python开发
Nov 10 #Python
Python调用飞书发送消息的示例
Nov 10 #Python
python中pyplot基础图标函数整理
Nov 10 #Python
python图片合成的示例
Nov 09 #Python
python 实现&quot;神经衰弱&quot;翻牌游戏
Nov 09 #Python
Python字典dict常用方法函数实例
Nov 09 #Python
Python实现哲学家就餐问题实例代码
Nov 09 #Python
You might like
php部分常见问题总结
2008/03/27 PHP
一个php Mysql类 可以参考学习熟悉下
2009/06/21 PHP
深入解析php之apc
2013/05/15 PHP
在html文件中也可以执行php语句的方法
2015/04/09 PHP
Yii2中使用asset压缩js,css文件的方法
2016/11/24 PHP
ThinkPHP3.2框架操作Redis的方法分析
2019/05/05 PHP
js Date概念详细介绍
2013/11/22 Javascript
javascript获取当前鼠标坐标的方法
2015/01/10 Javascript
javascript继承的六大模式小结
2015/04/13 Javascript
jQuery实现动画效果circle实例
2015/08/06 Javascript
jQuery实用技巧必备(下)
2015/11/03 Javascript
JavaScript lodash常见用法系列小结
2016/08/24 Javascript
微信小程序 rpx 尺寸单位详细介绍
2016/10/13 Javascript
JQuery EasyUI的一些常用组件
2017/07/12 jQuery
easyui-datagrid开发实践(总结)
2017/08/02 Javascript
实现图片首尾平滑轮播(JS原生方法—节流)
2017/10/17 Javascript
基于vue实现可搜索下拉框定制组件
2020/03/26 Javascript
JavaScript根据json生成html表格的示例代码
2018/10/24 Javascript
JavaScript实现滑块验证解锁
2021/01/07 Javascript
Python 基础之字符串string详解及实例
2017/04/01 Python
对numpy中轴与维度的理解
2018/04/18 Python
用Django写天气预报查询网站
2018/10/21 Python
在IPython中进行Python程序执行时间的测量方法
2018/11/01 Python
浅谈Python2之汉字编码为unicode的问题(即类似\xc3\xa4)
2019/08/12 Python
详谈tensorflow gfile文件的用法
2020/02/05 Python
python3连接MySQL8.0的两种方式
2020/02/17 Python
python数据类型可变不可变知识点总结
2020/03/06 Python
HTML5之WebGL 3D概述(下)—借助类库开发及框架介绍
2013/01/31 HTML / CSS
类如何去实现接口
2013/12/19 面试题
应届生骨科医生求职信
2013/10/31 职场文书
妇产医师自荐信
2014/01/29 职场文书
消防应急演练方案
2014/02/12 职场文书
考核工作实施方案
2014/03/30 职场文书
酒后驾车标语
2014/06/30 职场文书
护士求职自荐信范文
2015/03/04 职场文书
接触艺术对孩子学习思维有益
2019/08/06 职场文书