使用Python快速打开一个百万行级别的超大Excel文件的方法


Posted in Python onMarch 02, 2021

知乎上有同学求助说,当他试图打开一个20M左右的excel文件时,无论是使用pandas的read_excel,还是直接使用xlrd或者openpyxl模块,速度都慢到无法忍受的程度,耗时大约1分钟左右。

真的会这样吗?第一感觉是,这位同学在使用openpyxl模块时没有设置只读模式。为便于测试,先用下面的代码生成一个一百万行数据的excel文件。

>>> from openpyxl import Workbook
>>> wb = Workbook()
>>> sh = wb.active
>>> sh.append(['id', '语文', '数学', '英语', '物理'])
>>> for i in range(1000000): # 写入100万行数据
	sh.append([i+1, 90, 100, 95, 99])

	
>>> wb.save(r'd:\bigxlsx.xlsx')
>>> import os
>>> os.path.getsize(r'd:\bigxlsx.xlsx') # 文件大小:20M字节
20230528

接下来定义了一个使用openpyxl模块打开文件的函数,分别考察关闭和开启只读模式的时间消耗。

>>> from openpyxl import load_workbook
>>> import time
>>> def read_xlsx(read_only):
	t0 = time.time()
	wb = load_workbook(r'd:\bigxlsx.xlsx', read_only=read_only)
	t1 = time.time()
	print(wb.sheetnames)
	print(sh.cell(row=1, column=1).value)
	print(sh.cell(row=100, column=3).value)
	print('耗时%0.3f秒钟'%(t1-t0))

	
>>> read_xlsx(True)
['Sheet']
id
100
耗时0.404秒钟
>>> read_xlsx(False)
['Sheet']
id
100
耗时67.817秒钟

运行测试,果然,不开启只读的话,真的需要1分多钟,而使用只读模式的话,则仅需0.4秒钟。

不过,也别高兴得太早,openpyxl模块并没有提供像pandas.read_excel()那样把全部数据读入一个数据结构的功能,只能定位到行、列或格子以后再读取数据。要想使用openpyxl模块把全部数据读入到数组或DataFrame中,需要遍历所有的行和列,这仍然是一个非常耗时的操作。

那么,pandas.read_excel()是否也支持只读模式呢?遗憾的是,read_excel()并没有类似read_only这样的参数。尽管read_excel()可以接受文件路径、文件对象、类文件对象,甚至是二进制数据,但即使将文件内容传入,read_excel()解析这100万行数据仍然需要大约80秒钟。下面的代码验证了这一点。

>>> import pandas as pd
>>> def read_excel_by_pandas():	
	with open(r'd:\bigxlsx.xlsx', 'rb') as fp:
		content = fp.read()
		t0 = time.time()
		df = pd.read_excel(content, engine='openpyxl')
		t1 = time.time()
	print(df.head())
	print(df.tail())
	print('耗时%0.3f秒钟'%(t1-t0))

	
>>> read_excel_by_pandas()
  id 语文  数学 英语 物理
0  1 90 100 95 99
1  2 90 100 95 99
2  3 90 100 95 99
3  4 90 100 95 99
4  5 90 100 95 99
       id 语文  数学 英语 物理
999995  999996 90 100 95 99
999996  999997 90 100 95 99
999997  999998 90 100 95 99
999998  999999 90 100 95 99
999999 1000000 90 100 95 99
耗时81.369秒钟

结论:处理超大的Excel文件时,使用openpyxl模块的只读模式,可以快速打开并取得指定格子的数据,但不要尝试将全部数据读入到自己定义的数据结构中,这将花费漫长的时间。对此,pandas也无能为力。

到此这篇关于使用Python快速打开一个百万行级别的超大Excel文件的方法的文章就介绍到这了,更多相关python打开excel文件内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python黑帽编程 3.4 跨越VLAN详解
Sep 28 Python
python之matplotlib学习绘制动态更新图实例代码
Jan 23 Python
python验证码识别实例代码
Feb 03 Python
详解使用PyInstaller将Pygame库编写的小游戏程序打包为exe文件
Aug 23 Python
python selenium循环登陆网站的实现
Nov 04 Python
Python常用库大全及简要说明
Jan 17 Python
基于Tensorflow:CPU性能分析
Feb 10 Python
500行python代码实现飞机大战
Apr 24 Python
对python中arange()和linspace()的区别说明
May 03 Python
python json.dumps() json.dump()的区别详解
Jul 14 Python
Python实现为PDF去除水印的示例代码
Apr 03 Python
Autopep8的使用(python自动编排工具)
Mar 02 #Python
python 将Excel转Word的示例
Mar 02 #Python
Python字节单位转换(将字节转换为K M G T)
Mar 02 #Python
Python使用cn2an实现中文数字与阿拉伯数字的相互转换
Mar 02 #Python
jupyter notebook指定启动目录的方法
Mar 02 #Python
python实现发送邮件
Mar 02 #Python
matplotlib阶梯图的实现(step())
Mar 02 #Python
You might like
解析PHP正则提取或替换img标记属性
2013/06/26 PHP
PHP时间戳 strtotime()使用方法和技巧
2013/10/29 PHP
PHP使用Session遇到的一个Permission denied Notice解决办法
2014/07/30 PHP
phpmyadmin出现Cannot start session without errors问题解决方法
2014/08/14 PHP
Laravel框架学习笔记(二)项目实战之模型(Models)
2014/10/15 PHP
PHP模块化安装教程
2016/06/01 PHP
PHP检查文件是否存在,不存在自动创建及读取文件内容操作示例
2020/01/23 PHP
Jquery Change与bind事件代码
2011/09/29 Javascript
网站404页面3秒后跳到首页的实例代码
2013/08/16 Javascript
div模拟选择框示例代码
2013/11/03 Javascript
window.onresize 多次触发的解决方法
2013/11/08 Javascript
jqeury-easyui-layout问题解决方法
2014/03/24 Javascript
js 获取站点应用名的简单实例
2016/08/18 Javascript
angular.fromJson与toJson方法用法示例
2017/05/17 Javascript
javascript  删除select中的所有option的实例
2017/09/17 Javascript
深入理解Vue 组件之间传值
2018/08/16 Javascript
JS滚轮控制图片缩放大小和拖动的实例代码
2018/11/20 Javascript
Vue中常用rules校验规则(实例代码)
2019/11/14 Javascript
[42:32]DOTA2上海特级锦标赛B组资格赛#2 Fnatic VS Spirit第二局
2016/02/27 DOTA
Python利用多进程将大量数据放入有限内存的教程
2015/04/01 Python
Python读大数据txt
2016/03/28 Python
总结网络IO模型与select模型的Python实例讲解
2016/06/27 Python
python3 发送任意文件邮件的实例
2018/01/23 Python
python3 requests中使用ip代理池随机生成ip的实例
2018/05/07 Python
python3 flask实现文件上传功能
2020/03/20 Python
python写日志文件操作类与应用示例
2019/07/01 Python
Flask配置Cors跨域的实现
2019/07/12 Python
python实现WebSocket服务端过程解析
2019/10/18 Python
python list的index()和find()的实现
2020/11/16 Python
ALDO英国官网:加拿大女鞋品牌
2018/02/19 全球购物
公司培训欢迎词
2014/01/10 职场文书
学生安全责任书
2014/04/15 职场文书
优秀实习生主要事迹
2014/05/29 职场文书
创业计划书之烤红薯
2019/09/26 职场文书
HTML5 语义化标签(移动端必备)
2021/08/23 HTML / CSS
java多态注意项小结
2021/10/16 Java/Android