python各种excel写入方式的速度对比


Posted in Python onNovember 10, 2020

经过实验,新建一个excel表格,该表格拥有7个sheet,每个sheet有800条数据,其中最后一个sheet为空。

首先使用openpyxl进行写入操作,代码如下:

book = openpyxl.Workbook()
auths = Auth.objects.filter(owner_id=1)
filename = '导出数据'
for auth in auths:
  sheet = book.create_sheet(auth.name, index = 0)
  sheet.append([
      _("书名"),
      _("作者"),
      _("译者"),
      _("出版社"),
      _("序列号"),
      _("总页数"),
    ])
  objs = None
  objs = Book.objects.filter(owner_id=auth.id)
  for u in objs:
    data = []
    data.append(u.name)
    data.append(auth.name)
    data.append(u.translator)
    data.append(u.press)
    data.append(u.serializer)
    data.append(u.page)
    sheet.append(data)
return ExcelBookResponse(book, filename)

使用xlwt写入数据:

book = xlwt.Workbook()
auths = Auth.objects.filter(owner_id=1)
filename = '导出数据'
for auth in auths:
  sheet = book.add_sheet(sensor.name)
  sheet.write(0, 0, _("书名"))
  sheet.write(0, 1, _("作者"))
  sheet.write(0, 2, _("译者"))
  sheet.write(0, 3, _("出版社"))
  sheet.write(0, 4, _("序列号"))
  sheet.write(0, 5, _("总页数"))
  i = 1
  objs = None
  objs = Book.objects.filter(owner_id=auth.id)
  for u in objs:
    sheet.write(i, 0, u.name)
    sheet.write(i, 1, auth.name)
    sheet.write(i ,2,u.translator)
    sheet.write(i ,3,u.press)
    sheet.write(i, 4, u.serializer)
    sheet.write(i, 5, u.page)
    i += 1
return ExcelBookResponse(book, filename)

使用XlsxWriter写入数据:

book = xlsxwriter.Workbook(output)
auths = Auth.objects.filter(owner_id=1)
for auth in auths:
  sheet = book.add_worksheet(sensor.name)
  header = [
      _("书名"),
      _("作者"),
      _("译者"),
      _("出版社"),
      _("序列号"),
      _("总页数"),
    ]
  sheet.write_row("A1", header)
  objs = Book.objects.filter(owner_id=auth.id)
  i = 1
  for u in objs:
    sheet.write(i, 0, u.name)
    sheet.write(i, 1, auth.name)
    sheet.write(i ,2,u.translator)
    sheet.write(i ,3,u.press)
    sheet.write(i, 4, u.serializer)
    sheet.write(i, 5, u.page)
    i += 1
book.close()
file_ext = 'xlsx'
mimetype = 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'
# self['Content-Disposition'] = 'attachment; filename*=UTF-8\'\'"{2}.{1}"; filename="{0}.{1}"'.format(filename.replace('"', '\"'), file_ext, urllib.parse.quote(filename.replace('"', '\"'))).encode('utf8')
return HttpResponse(content=output.getvalue(), content_type=mimetype)

三者的时间比较(两种方式的文件内容是一样的):

openpyxl: 文件大小为110.75kb, 平均时间大约为570ms

xlwt: 文件大小为505.91kb,平均时间大约为440ms

XlsxWrite: 文件大小为109.28kb,平均时间大约为500ms

xlwt写入的行数有限制,因此对于较大的文件来说,XlsxWrite的速度较快一点

补充知识:python写入excel文件太慢如何解决-python往excel写入大量数据

目前用的openpyxl,从数据库获取8W行的数据通过openpyxl写入excel,要花费接近8分钟,这也太慢了,用kettle的插件秒进,python有什么方法能提升速度么,或者openpyxl能批量插入么,按行效率太低了

#!/usr/bin/python
# -*- coding: UTF-8 -*-
from openpyxl import Workbook as wbook
def xlsx(filename, rows_info, sheet='Result'):
if filename and sheet:
wb = wbook()
_sheet = wb.active
_sheet.title = sheet
row = _sheet.max_row
for line in rows_info:
if isinstance(line, str):
row_list = [line]
elif isinstance(line, dict):
row_list = list(line.values())
else:
try:
row_list = list(line)
except:
row_list = []
for col in range(0, len(row_list)):
col_info = row_list[col]
_sheet.cell(row, col + 1, col_info)
row += 1
wb.save(filename)
else:
return '文件和sheet不能为空'

以上这篇python各种excel写入方式的速度对比就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用python检测手机QQ在线状态的脚本代码
Feb 10 Python
python实现自动更换ip的方法
May 05 Python
python获取指定路径下所有指定后缀文件的方法
May 26 Python
Python中字典的setdefault()方法教程
Feb 07 Python
使用Python和xlwt向Excel文件中写入中文的实例
Apr 21 Python
详解多线程Django程序耗尽数据库连接的问题
Oct 08 Python
Python 图像处理: 生成二维高斯分布蒙版的实例
Jul 04 Python
Python 实现输入任意多个数,并计算其平均值的例子
Jul 16 Python
Django用户认证系统 Web请求中的认证解析
Aug 02 Python
tensorflow获取预训练模型某层参数并赋值到当前网络指定层方式
Jan 24 Python
Keras自定义实现带masking的meanpooling层方式
Jun 16 Python
Flask中jinja2的继承实现方法及实例
Mar 03 Python
Python 使用xlwt模块将多行多列数据循环写入excel文档的操作
Nov 10 #Python
详解vscode实现远程linux服务器上Python开发
Nov 10 #Python
Python调用飞书发送消息的示例
Nov 10 #Python
python中pyplot基础图标函数整理
Nov 10 #Python
python图片合成的示例
Nov 09 #Python
python 实现"神经衰弱"翻牌游戏
Nov 09 #Python
Python字典dict常用方法函数实例
Nov 09 #Python
You might like
使用php来实现网络服务
2009/09/15 PHP
php 生成短网址原理及代码
2014/01/23 PHP
php实现博客,论坛图片防盗链的方法
2016/10/15 PHP
PHP性能分析工具xhprof的安装使用与注意事项
2017/12/19 PHP
js网页侧边随页面滚动广告效果实现
2011/04/14 Javascript
读jQuery之十三 添加事件和删除事件的核心方法
2011/08/23 Javascript
修复ie8&chrome下window的resize事件多次执行
2011/10/20 Javascript
基于jquery的点击链接插入链接内容的代码
2012/07/31 Javascript
jquery ztree实现树的搜索功能
2016/02/25 Javascript
一个用jquery写的判断div滚动条到底部的方法【推荐】
2016/04/29 Javascript
jquery.masonry瀑布流效果
2017/05/25 jQuery
vue2.0 keep-alive最佳实践
2017/07/06 Javascript
Vue组件库发布到npm详解
2018/02/17 Javascript
Element-UI Table组件上添加列拖拽效果实现方法
2018/04/14 Javascript
详解vuex commit保存数据技巧
2018/12/25 Javascript
详解Bootstrap 学习(一)入门
2019/04/12 Javascript
微信小程序实现星级评价
2019/11/20 Javascript
JavaScript多种滤镜算法实现代码实例
2019/12/10 Javascript
在vue中实现禁止屏幕滚动,禁止屏幕滑动
2020/07/22 Javascript
javascript实现时间日期的格式化的方法汇总
2020/08/06 Javascript
详解Python中with语句的用法
2015/04/15 Python
python 基础教程之Map使用方法
2017/01/17 Python
python如何查看微信消息撤回
2018/11/27 Python
python3实现小球转动抽奖小游戏
2020/04/15 Python
给大家整理了19个pythonic的编程习惯(小结)
2019/09/25 Python
解决python调用自己文件函数/执行函数找不到包问题
2020/06/01 Python
浅谈python 调用open()打开文件时路径出错的原因
2020/06/05 Python
八皇后问题,输出了所有情况,不过有些结果只是旋转了90度
2016/08/15 面试题
省三好学生申请材料
2014/01/22 职场文书
市场营销管理制度
2014/01/29 职场文书
摄影助理岗位职责
2014/02/07 职场文书
绿色家庭事迹材料
2014/05/01 职场文书
片区教研活动总结
2014/07/02 职场文书
舞蹈兴趣小组活动总结
2014/07/07 职场文书
浅谈Redis存储数据类型及存取值方法
2021/05/08 Redis
JavaScript前端面试扁平数据转tree与tree数据扁平化
2022/06/14 Javascript