使用Python快速打开一个百万行级别的超大Excel文件的方法


Posted in Python onMarch 02, 2021

知乎上有同学求助说,当他试图打开一个20M左右的excel文件时,无论是使用pandas的read_excel,还是直接使用xlrd或者openpyxl模块,速度都慢到无法忍受的程度,耗时大约1分钟左右。

真的会这样吗?第一感觉是,这位同学在使用openpyxl模块时没有设置只读模式。为便于测试,先用下面的代码生成一个一百万行数据的excel文件。

>>> from openpyxl import Workbook
>>> wb = Workbook()
>>> sh = wb.active
>>> sh.append(['id', '语文', '数学', '英语', '物理'])
>>> for i in range(1000000): # 写入100万行数据
	sh.append([i+1, 90, 100, 95, 99])

	
>>> wb.save(r'd:\bigxlsx.xlsx')
>>> import os
>>> os.path.getsize(r'd:\bigxlsx.xlsx') # 文件大小:20M字节
20230528

接下来定义了一个使用openpyxl模块打开文件的函数,分别考察关闭和开启只读模式的时间消耗。

>>> from openpyxl import load_workbook
>>> import time
>>> def read_xlsx(read_only):
	t0 = time.time()
	wb = load_workbook(r'd:\bigxlsx.xlsx', read_only=read_only)
	t1 = time.time()
	print(wb.sheetnames)
	print(sh.cell(row=1, column=1).value)
	print(sh.cell(row=100, column=3).value)
	print('耗时%0.3f秒钟'%(t1-t0))

	
>>> read_xlsx(True)
['Sheet']
id
100
耗时0.404秒钟
>>> read_xlsx(False)
['Sheet']
id
100
耗时67.817秒钟

运行测试,果然,不开启只读的话,真的需要1分多钟,而使用只读模式的话,则仅需0.4秒钟。

不过,也别高兴得太早,openpyxl模块并没有提供像pandas.read_excel()那样把全部数据读入一个数据结构的功能,只能定位到行、列或格子以后再读取数据。要想使用openpyxl模块把全部数据读入到数组或DataFrame中,需要遍历所有的行和列,这仍然是一个非常耗时的操作。

那么,pandas.read_excel()是否也支持只读模式呢?遗憾的是,read_excel()并没有类似read_only这样的参数。尽管read_excel()可以接受文件路径、文件对象、类文件对象,甚至是二进制数据,但即使将文件内容传入,read_excel()解析这100万行数据仍然需要大约80秒钟。下面的代码验证了这一点。

>>> import pandas as pd
>>> def read_excel_by_pandas():	
	with open(r'd:\bigxlsx.xlsx', 'rb') as fp:
		content = fp.read()
		t0 = time.time()
		df = pd.read_excel(content, engine='openpyxl')
		t1 = time.time()
	print(df.head())
	print(df.tail())
	print('耗时%0.3f秒钟'%(t1-t0))

	
>>> read_excel_by_pandas()
  id 语文  数学 英语 物理
0  1 90 100 95 99
1  2 90 100 95 99
2  3 90 100 95 99
3  4 90 100 95 99
4  5 90 100 95 99
       id 语文  数学 英语 物理
999995  999996 90 100 95 99
999996  999997 90 100 95 99
999997  999998 90 100 95 99
999998  999999 90 100 95 99
999999 1000000 90 100 95 99
耗时81.369秒钟

结论:处理超大的Excel文件时,使用openpyxl模块的只读模式,可以快速打开并取得指定格子的数据,但不要尝试将全部数据读入到自己定义的数据结构中,这将花费漫长的时间。对此,pandas也无能为力。

到此这篇关于使用Python快速打开一个百万行级别的超大Excel文件的方法的文章就介绍到这了,更多相关python打开excel文件内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python获取标准北京时间的方法
Mar 24 Python
Python简单计算给定某一年的某一天是星期几示例
Jun 27 Python
Python API 自动化实战详解(纯代码)
Jun 11 Python
Tornado实现多进程/多线程的HTTP服务详解
Jul 25 Python
docker-py 用Python调用Docker接口的方法
Aug 30 Python
python破解bilibili滑动验证码登录功能
Sep 11 Python
python有几个版本
Jun 17 Python
Python类的继承super相关原理解析
Oct 22 Python
python实现一个简单RPC框架的示例
Oct 28 Python
python 如何上传包到pypi
Dec 24 Python
Pytorch 如何加速Dataloader提升数据读取速度
May 28 Python
python实现商品进销存管理系统
May 30 Python
Autopep8的使用(python自动编排工具)
Mar 02 #Python
python 将Excel转Word的示例
Mar 02 #Python
Python字节单位转换(将字节转换为K M G T)
Mar 02 #Python
Python使用cn2an实现中文数字与阿拉伯数字的相互转换
Mar 02 #Python
jupyter notebook指定启动目录的方法
Mar 02 #Python
python实现发送邮件
Mar 02 #Python
matplotlib阶梯图的实现(step())
Mar 02 #Python
You might like
PHP simple_html_dom.php+正则 采集文章代码
2009/12/24 PHP
无法在发生错误时创建会话,请检查 PHP 或网站服务器日志,并正确配置 PHP 安装(win+linux)
2012/05/05 PHP
深入php self与$this的详解
2013/06/08 PHP
php生成zip文件类实例
2015/04/07 PHP
php each 返回数组中当前的键值对并将数组指针向前移动一步实例
2016/11/22 PHP
PHP迭代与递归实现无限级分类
2017/08/28 PHP
CentOS7系统搭建LAMP及更新PHP版本操作详解
2020/03/26 PHP
用javascript getComputedStyle获取和设置style的原理
2008/10/10 Javascript
网页右键ie不支持event.preventDefault和event.returnValue (需要加window)
2013/02/22 Javascript
js脚本获取webform服务器控件的方法
2014/05/16 Javascript
jquery转盘抽奖功能实现
2015/11/13 Javascript
JS iFrame加载慢怎么解决
2016/05/13 Javascript
详解AngularJS中的表单验证(推荐)
2016/11/17 Javascript
vue-dialog的弹出层组件
2020/05/25 Javascript
javascript实现Java中的Map对象功能的实例详解
2017/08/21 Javascript
Javacript中自定义的map.js  的方法
2017/11/26 Javascript
node中实现删除目录的几种方法
2019/06/24 Javascript
js实现随机点名器精简版
2020/06/29 Javascript
JS跨浏览器解析XML应用过程详解
2020/10/16 Javascript
vue中template的三种写法示例
2020/10/21 Javascript
[52:15]2014 DOTA2国际邀请赛中国区预选赛5.21 HGT VS LGD-GAMING
2014/05/23 DOTA
一篇文章快速了解Python的GIL
2018/01/12 Python
python爬取指定微信公众号文章
2018/12/20 Python
python爬虫简单的添加代理进行访问的实现代码
2019/04/04 Python
Python要如何实现列表排序的几种方法
2020/02/21 Python
Django框架models使用group by详解
2020/03/11 Python
Python基于mediainfo批量重命名图片文件
2020/12/29 Python
python和opencv构建运动检测器的实现
2021/03/03 Python
荷兰皇家航空公司中国官网:KLM中国
2017/12/13 全球购物
什么是表空间(tablespace)和系统表空间(System tablespace)
2013/02/25 面试题
航空大学应届生求职信
2013/11/10 职场文书
少先队学雷锋活动月总结
2014/03/09 职场文书
2014年保险业务员工作总结
2014/12/23 职场文书
十岁生日答谢词
2015/01/05 职场文书
2016年小学端午节活动总结
2016/04/01 职场文书
详解MySQL事务的隔离级别与MVCC
2021/04/22 MySQL