解决使用Pandas 读取超过65536行的Excel文件问题


Posted in Python onNovember 10, 2020

场景

今天需要合并天猫订单数据,由于前期6.18活动有很多数据需要处理,将几个月份合并一起,结果报错。

解决使用Pandas 读取超过65536行的Excel文件问题

问题分析

Excel 文件的格式曾经发生过一次变化,在 Excel 2007 以前,使用扩展名为 .xls 格式的文件,这种文件格式是一种特定的二进制格式,最多支持 65,536 行,256 列表格。从 Excel 2007 版开始,默认采用了基于 XML 的新的文件格式 .xlsx ,支持的表格行数达到了 1,048,576,列数达到了 16,384。需要注意的是,将 .xlsx 格式的文件转换为 .xls 格式的文件时,65536 行和 256 列之后的数据都会被丢弃。

Pandas 读取 Excel 文件的引擎是 xlrd , xlrd 虽然同时支持 .xlsx 和 .xls 两种文件格式,但是在源码文件 xlrd/sheet.py 中限制了读取的 Excel 文件行数必须小于 65536,列数必须小于 256。

if self.biff_version >= 80:
  self.utter_max_rows = 65536
else:
  self.utter_max_rows = 16384
self.utter_max_cols = 256

这就导致,即使是 .xlsx 格式的文件, xlrd 依然不支持读取 65536 行以上的 Excel 文件(源码中还有一个行数限制是 16384,这是因为 Excel 95 时代, xls 文件所支持的最大行数是 16384)。

解决办法

openpyxl 是一个专门用来操作 .xlsx 格式文件的 Python 库,和 xlrd 相比它对于最大行列数的支持和 .xlsx 文件所定义的最大行列数一致。

首先安装 openpyxl :

pip install openpyxl

Pandas 的 read_excel 方法中,有 engine 字段,可以指定所使用的处理 Excel 文件的引擎,填入 openpyxl ,再读取文件就可以了。

import os
import pandas as pd

# 将文件读取出来放一个列表里面

pwd = '1' # 获取文件目录

# 新建列表,存放文件名
file_list = []

# 新建列表存放每个文件数据(依次读取多个相同结构的Excel文件并创建DataFrame)
dfs = []

for root,dirs,files in os.walk(pwd): # 第一个为起始路径,第二个为起始路径下的文件夹,第三个是起始路径下的文件。
  for file in files:
    file_path = os.path.join(root, file)
    file_list.append(file_path) # 使用os.path.join(dirpath, name)得到全路径
    df = pd.read_excel(file_path) # 导入xlsx文件,将excel转换成DataFrame
    dfs.append(df)

# 将多个DataFrame合并为一个
df = pd.concat(dfs)

# 数据输出,写入excel文件,不包含索引数据
# 数据写入 Excel,需要首先安装一个 engine,由 engine 负责将数据写入 Excel,pandas 使用 openpyx 或 xlsxwriter 作为写入引擎。
df.to_excel('test\\1.xlsx', index=False,engine='openpyxl') # 导出 Excel,一般不需要索引,将 index 参数设为 False

补充知识:python使用xlrd读取excel数据作为requests的请求参数,并把返回的数据写入excel中

实现功能:

从excel中的第一列数据作为post请求的数据,数据为json格式;把post返回的结果写入到excel的第二列数据中,并把返回数据与excel中的预期结果做比较,如果与预期一致则在案例执行结果中写入成功,否则写入失败。

每一行的数据都不一样,可实现循环调用

# !/usr/bin/env python
# -*- coding:utf-8 -*-
#import xlwt #这个专门用于写入excel的库没有用到
import xlrd
from xlutils.copy import copy
import requests
import json
old_excel = xlrd.open_workbook('excel.xls')
sheet = old_excel.sheets()[0]
url = 'http://10.1.1.32:1380/service/allocFk2'
headers = {'Content-Type': 'application/json'}
i = 0
new_excel = copy(old_excel)
for row in sheet.get_rows():
  data = row[0].value
  response = requests.post(url=url, headers=headers, data=data)
  text = response.text
  #使用json.loads可以把Unicode类型,即json类型转换成dict类型
  text = json.loads(text)["returnMsg"] #屏蔽这行代码即可把返回的完整数据写入文件中
  ws = new_excel.get_sheet(0)
  ws.write(i,1,text)
  new_excel.save('excel.xls')
  old_excel = xlrd.open_workbook('excel.xls')
  new_excel = copy(old_excel)
  i = i+1

执行前的excel格式:

发送报文 返回报文 校验字符 案例执行结果
{ "projectId" :"0070", "projectAllocBatch" :"1", "serviceCode" :"GT012", "seqNo" :"180800272201GT51286712", "tranTimeStamp" :"20180817102244", "sign" :"2dbb89a6bd86b2af1ff6a76c35c05284" } 交易失败
{ "projectId" :"0070", "projectAllocBatch" :"1", "serviceCode" :"GT012", "seqNo" :"180800272201GT51286713", "tranTimeStamp" :"20180817102244", "sign" :"2dbb89a6bd86b2af1ff6a76c35c05284" } 交易失败
{ "projectId" :"0070", "projectAllocBatch" :"1", "serviceCode" :"GT012", "seqNo" :"180800272201GT51286713", "tranTimeStamp" :"20180817102244", "sign" :"2dbb89a6bd86b2af1ff6a76c35c05284" } 交易成功

执行后的结果:

解决使用Pandas 读取超过65536行的Excel文件问题

调试过程中遇到的问题:

1、一开始在for循环的最后没有增加这两行代码

old_excel = xlrd.open_workbook('excel.xls')

new_excel = copy(old_excel)

这样的话new_excel永远都是一开始获取到的那一个,只会把最后一个循环返回的结果写入文件,因为之前的全部都被一开始获取的那个old_excel给覆盖了,所以每次执行完写入操作以后都要重新做一次copy操作,这样就能保证new_excel是最新的。

2、注意执行程序之前要把excel关闭,否则会报错

以上这篇解决使用Pandas 读取超过65536行的Excel文件问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
利用Tkinter(python3.6)实现一个简单计算器
Dec 21 Python
python 实现求解字符串集的最长公共前缀方法
Jul 20 Python
解决pycharm 误删掉项目文件的处理方法
Oct 22 Python
解决Django生产环境无法加载静态文件问题的解决
Apr 23 Python
python运用sklearn实现KNN分类算法
Oct 16 Python
python解析命令行参数的三种方法详解
Nov 29 Python
Python中itertools的用法详解
Feb 07 Python
一文轻松掌握python语言命名规范规则
Jun 18 Python
python怎么判断素数
Jul 01 Python
简单了解Django项目应用创建过程
Jul 06 Python
Python爬虫防封ip的一些技巧
Aug 06 Python
详解Python之Scrapy爬虫教程NBA球员数据存放到Mysql数据库
Jan 24 Python
python各种excel写入方式的速度对比
Nov 10 #Python
Python 使用xlwt模块将多行多列数据循环写入excel文档的操作
Nov 10 #Python
详解vscode实现远程linux服务器上Python开发
Nov 10 #Python
Python调用飞书发送消息的示例
Nov 10 #Python
python中pyplot基础图标函数整理
Nov 10 #Python
python图片合成的示例
Nov 09 #Python
python 实现"神经衰弱"翻牌游戏
Nov 09 #Python
You might like
php 函数使用方法与函数定义方法
2010/05/09 PHP
PHP和Mysqlweb应用开发核心技术 第1部分 Php基础-3 代码组织和重用2
2011/07/03 PHP
thinkphp实现多语言功能(语言包)
2014/03/04 PHP
浅谈laravel aliases别名的原理
2019/10/24 PHP
用脚本调用样式的几种方法
2006/12/09 Javascript
页面只能打开一次Cooike如何实现
2012/12/04 Javascript
根据IP的地址,区分不同的地区,查看不同的网站页面的js代码
2013/02/26 Javascript
javascript:文字不间断向左移动的实例代码
2013/08/08 Javascript
javascript if条件判断方法小结
2014/05/17 Javascript
ECMAScript6新增值比较函数Object.is
2015/06/12 Javascript
微信小程序 按钮滑动的实现方法
2017/09/27 Javascript
JS脚本加载后执行相应回调函数的操作方法
2018/02/28 Javascript
微信小程序日期选择器实例代码
2018/07/18 Javascript
如何使用less实现随机下雪动画详解
2019/01/02 Javascript
JS 创建对象的模式实例小结
2020/04/28 Javascript
js cavans实现静态滚动弹幕
2020/05/21 Javascript
微信小程序自定义tabBar的踩坑实践记录
2020/11/06 Javascript
[48:48]完美世界DOTA2联赛PWL S3 Magama vs GXR 第一场 12.19
2020/12/24 DOTA
python正则表达式判断字符串是否是全部小写示例
2013/12/25 Python
Python递归遍历列表及输出的实现方法
2015/05/19 Python
python用reduce和map把字符串转为数字的方法
2016/12/19 Python
朴素贝叶斯分类算法原理与Python实现与使用方法案例
2018/06/26 Python
python协程gevent案例 爬取斗鱼图片过程解析
2019/08/27 Python
PyCharm中如何直接使用Anaconda已安装的库
2020/05/28 Python
解决TensorFlow训练模型及保存数量限制的问题
2021/03/03 Python
使用HTML5和CSS3制作一个模态框的示例
2018/03/07 HTML / CSS
三星法国官方网站:Samsung法国
2019/10/31 全球购物
如何进行有效的自我评价
2013/09/27 职场文书
史学专业毕业生求职信
2014/05/09 职场文书
家长会标语
2014/06/24 职场文书
学校政风行风自查自纠报告
2014/10/21 职场文书
2015年社区中秋节活动总结
2015/03/23 职场文书
张丽莉观后感
2015/06/16 职场文书
2016入党培训心得体会范文
2016/01/08 职场文书
详解python的内存分配机制
2021/05/10 Python
SQL Server数据库基本概念、组成、常用对象与约束
2022/03/20 SQL Server