使用Python读取大文件的方法


Posted in Python onFebruary 11, 2018

背景

最近处理文本文档时(文件约2GB大小),出现memoryError错误和文件读取太慢的问题,后来找到了两种比较快Large File Reading 的方法,本文将介绍这两种读取方法。

准备工作

我们谈到“文本处理”时,我们通常是指处理的内容。Python 将文本文件的内容读入可以操作的字符串变量非常容易。文件对象提供了三个“读”方法: .read()、.readline() 和 .readlines()。每种方法可以接受一个变量以限制每次读取的数据量,但它们通常不使用变量。 .read() 每次读取整个文件,它通常用于将文件内容放到一个字符串变量中。然而.read() 生成文件内容最直接的字符串表示,但对于连续的面向行的处理,它却是不必要的,并且如果文件大于可用内存,则不可能实现这种处理。下面是read()方法示例:

try:
f = open('/path/to/file', 'r')
print f.read()
finally:
if f:
f.close()

调用read()会一次性读取文件的全部内容,如果文件有10G,内存就爆了,所以,要保险起见,可以反复调用read(size)方法,每次最多读取size个字节的内容。另外,调用readline()可以每次读取一行内容,调用readlines()一次读取所有内容并按行返回list。因此,要根据需要决定怎么调用。

如果文件很小,read()一次性读取最方便;如果不能确定文件大小,反复调用read(size)比较保险;如果是配置文件,调用readlines()最方便:

for line in f.readlines():
process(line) #

分块读取

处理大文件是很容易想到的就是将大文件分割成若干小文件处理,处理完每个小文件后释放该部分内存。这里用了iter 和 yield:

def read_in_chunks(filePath, chunk_size=1024*1024):
"""
Lazy function (generator) to read a file piece by piece.
Default chunk size: 1M
You can set your own chunk size
"""
file_object = open(filePath)
while True:
chunk_data = file_object.read(chunk_size)
if not chunk_data:
break
yield chunk_data
if __name__ == "__main__":
filePath = './path/filename'
for chunk in read_in_chunks(filePath):
process(chunk) # <do something with chunk>

使用With open()

with语句打开和关闭文件,包括抛出一个内部块异常。for line in f文件对象f视为一个迭代器,会自动的采用缓冲IO和内存管理,所以你不必担心大文件。

代码如下:

#If the file is line based
with open(...) as f:
for line in f:


process(line) # <do something with line>

优化

面对百万行的大型数据使用with open 是没有问题的,但是这里面参数的不同也会导致不同的效率。经过测试发先参数为"rb"时的效率是"r"的6倍。由此可知二进制读取依然是最快的模式。

with open(filename,"rb") as f: 
  for fLine in f: 
  pass

测试结果:rb方式最快,100w行全遍历2.9秒。基本能满足中大型文件处理效率需求。如果从rb(二级制读取)读取改为r(读取模式),慢5-6倍。

结论

在使用python进行大文件读取时,应该让系统来处理,使用最简单的方式,交给解释器,就管好自己的工作就行了。同时根据不同的需求可以选择不同的读取参数进一步获得更高的性能。

Python 相关文章推荐
Python GAE、Django导出Excel的方法
Nov 24 Python
Python数据结构与算法之图的基本实现及迭代器实例详解
Dec 12 Python
Python数据结构与算法之完全树与最小堆实例
Dec 13 Python
浅谈Python实现2种文件复制的方法
Jan 19 Python
Python3 XML 获取雅虎天气的实现方法
Feb 01 Python
python 巧用正则寻找字符串中的特定字符的位置方法
May 02 Python
python实现简单http服务器功能
Sep 17 Python
Python pycharm 同时加载多个项目的方法
Jan 17 Python
PyQt5 实现给窗口设置背景图片的方法
Jun 13 Python
给我一面国旗 python帮你实现
Sep 30 Python
python pip安装包出现:Failed building wheel for xxx错误的解决
Dec 25 Python
python GUI框架pyqt5 对图片进行流式布局的方法(瀑布流flowlayout)
Mar 12 Python
python脚本作为Windows服务启动代码详解
Feb 11 #Python
分析Python读取文件时的路径问题
Feb 11 #Python
Django中针对基于类的视图添加csrf_exempt实例代码
Feb 11 #Python
python jieba分词并统计词频后输出结果到Excel和txt文档方法
Feb 11 #Python
代码讲解Python对Windows服务进行监控
Feb 11 #Python
django 按时间范围查询数据库实例代码
Feb 11 #Python
python实现媒体播放器功能
Feb 11 #Python
You might like
php中3des加密代码(完全与.net中的兼容)
2012/08/02 PHP
php cli换行示例
2014/04/22 PHP
利用PHP生成静态html页面的原理
2016/09/30 PHP
非常漂亮的JS代码经典广告
2007/10/21 Javascript
javascript 写类方式之五
2009/07/05 Javascript
jquerymobile checkbox及时刷新才能获取其准确值
2012/04/14 Javascript
js处理表格对table进行修饰
2014/05/26 Javascript
AngularJS框架的ng-app指令与自动加载实现方法分析
2017/01/04 Javascript
JavaScript运动框架 多值运动(四)
2017/05/18 Javascript
javascript实现数字配对游戏的实例讲解
2017/12/14 Javascript
基于Nodejs的Tcp封包和解包的理解
2018/09/19 NodeJs
vue返回上一页面时回到原先滚动的位置的方法
2018/12/20 Javascript
解决layui调用自定义方法提示未定义的问题
2019/09/14 Javascript
vue Tab切换以及缓存页面处理的几种方式
2019/11/05 Javascript
Element Dropdown下拉菜单的使用方法
2020/07/26 Javascript
js实现移动端轮播图滑动切换
2020/12/21 Javascript
python中查看变量内存地址的方法
2015/05/05 Python
python生成词云的实现方法(推荐)
2017/06/13 Python
python中的set实现不重复的排序原理
2018/01/24 Python
django项目搭建与Session使用详解
2018/10/10 Python
利用python修改json文件的value方法
2018/12/31 Python
python添加模块搜索路径和包的导入方法
2019/01/19 Python
Python基础教程之if判断,while循环,循环嵌套
2019/04/25 Python
对python3 Serial 串口助手的接收读取数据方法详解
2019/06/12 Python
Atom Python 配置Python3 解释器的方法
2019/08/28 Python
python调用百度AI接口实现人流量统计
2021/02/03 Python
html5 canvas-1.canvas介绍(hello canvas)
2013/01/07 HTML / CSS
马克华菲官方商城:Mark Fairwhale
2016/09/04 全球购物
公益活动策划方案
2014/01/09 职场文书
校园安全教育广播稿
2014/02/17 职场文书
建房协议书
2014/04/11 职场文书
《月亮湾》教学反思
2014/04/14 职场文书
服务承诺口号
2014/05/22 职场文书
公务员诚信承诺书
2014/05/26 职场文书
2014年教师批评与自我批评思想汇报
2014/09/20 职场文书
大学军训的体会
2014/11/08 职场文书