Python 使用xlwt模块将多行多列数据循环写入excel文档的操作


Posted in Python onNovember 10, 2020

我就废话不多说了,大家还是直接看代码吧~

#!/usr/bin/python
# -*- coding: utf-8 -*-

import xlwt
import re

def host_regex(dataline):
 host_regex = r"<host>(.*?)</host>"
 host = re.findall(host_regex, dataline)
 if host:
  return host[0]

def ip_regex(dataline):
 ip_regex = r"<ip>(.*?)</ip>"
 ip = re.findall(ip_regex, dataline)
 if ip:
  return ip[0]

with open("zbx_export_hosts.xml", "r", encoding="utf8") as f:
 lines = f.readlines()
 alldatas = []
 hostlist = []
 iplist = []
 for line in lines:
  host = host_regex(line)
  ip = ip_regex(line)

  if host is not None:
   hostlist.append(host)
  if ip is not None:
   iplist.append(ip)
 hosts_ip = []
 # 构造数据结构,形如:[[a,b],[c,d],...]
 multi_list = map(list, zip(hostlist, iplist))
 for multi in multi_list:
  hosts_ip.append(multi)
 workbook = xlwt.Workbook()
 worksheet = workbook.add_sheet('test')
 # 关键代码
 for hi in enumerate(hosts_ip):
  for num in range(len(hi[1])):
   # 行、列、值
   worksheet.write(hi[0], num, hi[1][num])

 workbook.save('excelwrite.xls')

PS:其实有两行代码冗余,就不删了!

补充知识:通过python写入xlsx大量数据问题简述

以前批处理生成数据文件都是通过c程序直接按照逗号分隔方式写文本文件以csv保存的。但是由于有些处理的数据表直接给业务人员看,业务人员习惯使用xls,因此提了些需求改造,对于一些小于100w的数据均要求改为xlsx文件格式的报表。

考虑报表文件数据处理便捷,因此决定用python实现,最初使用了openpyxl库,这个python库拥有非常强大的xlsx的读写api,能够很方便的实现读写。但是在实际使用中发现在处理较大行数的xlsx时,占用内存非常严重,8个字段50w行数据在运行中内存高达10G,这不是我们应用服务器能够接受的范围。

因此寻求改善,在网上了解后,发现创建xlsx表时,指定write_only参数是openpyxl提供的大数据写入解决方案,以下摘自官网范例,在选择了此参数后,无法通过ws.cell(row=i, column=j).value = ? 的方式复制,只能通过append的方式追加行。关于设置只写cell设置样式,可以直接查看官网

>>> from openpyxl import Workbook
>>> wb = Workbook(write_only=True)
>>> ws = wb.create_sheet()
>>>
>>> # now we'll fill it with 100 rows x 200 columns
>>>
>>> for irow in range(100):
...  ws.append(['%d' % i for i in range(200)]) #可以先将一行的数据写在一个list中,直接ws.append(list)
>>> # save the file
>>> wb.save('new_big_file.xlsx') # doctest: +SKIP

不过仅仅按上述范例修改write_only跑数时发现内存占用并没有缓解,再仔细阅读官网说明时才发现这么一句话“When you want to dump large amounts of data make sure you have lxml installed.”原来在openpyxl安装时,并没有把lxml作为强依赖,只是一个可选包,然后查实发现确实服务器上并没有安装lxml包。

于是与为了解决这个问题先在测试环境上安装lxml,安装过程也不是很顺利。

首先先要装libxml2以及libxslt,因为没有root权限,均为源码安装,且只能安装在用户目录。需要注意的是libxml2在安装时需要--with-python='python安装目录',libxslt安装的时候需要指定libxml2安装目录。

尤其最后的lxml安装也是坑挺多的,主要是指定libxml2和libxslt,安装lxml时先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。

全部安装完之后,确实openpyxl写xlsx不再增加内存,先在tmp目录一个临时文件中写,待调用save方法时,保存到正式文件。

此外在这个问题解决中,还了解到writexlsx库也可以处理大文件xlsx的写入,并且安装没有这么多的依赖,其实还是非常推荐,也很简介,官网有介绍。

操作大文件时指定{'constant_memory': True}即可。

filename = 'test.xlsx'
wb = xlsxwriter.Workbook(filename, {'constant_memory': True})
ws = wb.add_worksheet('大文件')
i = 0
data= []
data.append('中文')
data.append(1323)
data.append('abc')
ws.write_row(i, 0, data)
i = i + 1
wb.close() #直接关闭即可,不需要额外save

以上这篇Python 使用xlwt模块将多行多列数据循环写入excel文档的操作就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现在控制台输入密码不显示的方法
Jul 02 Python
python 递归遍历文件夹,并打印满足条件的文件路径实例
Aug 30 Python
Python3 实现随机生成一组不重复数并按行写入文件
Apr 09 Python
Python实现字符串匹配的KMP算法
Apr 04 Python
python中调试或排错的五种方法示例
Sep 12 Python
命令行运行Python脚本时传入参数的三种方式详解
Oct 11 Python
Tensorflow Summary用法学习笔记
Jan 10 Python
python GUI库图形界面开发之PyQt5时间控件QTimer详细使用方法与实例
Feb 26 Python
tensorflow 2.1.0 安装与实战教程(CASIA FACE v5)
Jun 30 Python
python3.5的包存放的具体路径
Aug 16 Python
Python基础之pandas数据合并
Apr 27 Python
Python利用机器学习算法实现垃圾邮件的识别
Jun 28 Python
详解vscode实现远程linux服务器上Python开发
Nov 10 #Python
Python调用飞书发送消息的示例
Nov 10 #Python
python中pyplot基础图标函数整理
Nov 10 #Python
python图片合成的示例
Nov 09 #Python
python 实现&quot;神经衰弱&quot;翻牌游戏
Nov 09 #Python
Python字典dict常用方法函数实例
Nov 09 #Python
Python实现哲学家就餐问题实例代码
Nov 09 #Python
You might like
PHPShop存在多个安全漏洞
2006/10/09 PHP
PHP 程序员也要学会使用“异常”
2009/06/16 PHP
Laravel实现autoload方法详解
2017/05/07 PHP
看了就知道什么是JSON
2007/12/09 Javascript
用cssText批量修改样式
2009/08/29 Javascript
仿微博字符限制效果实现代码
2012/04/20 Javascript
javascript设计模式 封装和信息隐藏(上)
2012/07/24 Javascript
JS的get和set使用示例
2014/02/20 Javascript
jQuery动画特效实例教程
2014/08/29 Javascript
jQuery实现网站添加高亮突出显示效果的方法
2015/06/26 Javascript
jQuery实现鼠标划过添加和删除class的方法
2015/06/26 Javascript
JQuery中ajax方法访问web服务实例
2015/07/18 Javascript
jquery实现简单Tab切换菜单效果
2020/07/17 Javascript
vue日期组件 支持vue1.0和2.0
2017/01/09 Javascript
jQuery+ThinkPHP+Ajax实现即时消息提醒功能实例代码
2017/03/21 jQuery
es6 字符串String的扩展(实例讲解)
2017/08/03 Javascript
不得不知的ES6小技巧
2018/07/28 Javascript
js中的数组对象排序分析
2018/12/11 Javascript
Web安全之XSS攻击与防御小结
2018/12/13 Javascript
使用jQuery实现购物车
2020/10/29 jQuery
解决vuex改变了state的值,但是页面没有更新的问题
2020/11/12 Javascript
通过C++学习Python
2015/01/20 Python
Python:Scrapy框架中Item Pipeline组件使用详解
2017/12/27 Python
简单了解python gevent 协程使用及作用
2019/07/22 Python
python使用pandas抽样训练数据中某个类别实例
2020/02/28 Python
Python面向对象程序设计之继承、多态原理与用法详解
2020/03/23 Python
使用PyCharm安装pytest及requests的问题
2020/07/31 Python
HTML5新增的Css选择器、伪类介绍
2013/08/07 HTML / CSS
学生喝酒检讨书
2014/02/06 职场文书
党的群众路线教育实践活动公开承诺书
2014/03/28 职场文书
股权转让协议书范本
2014/04/12 职场文书
大学生励志演讲稿
2014/04/25 职场文书
2015年财务人员工作总结
2015/04/10 职场文书
导游词之镇江焦山
2019/11/21 职场文书
写一个Python脚本自动爬取Bilibili小视频
2021/04/24 Python
win10壁纸在哪个文件夹 win10桌面背景图片文件位置分享
2022/08/05 数码科技