Python 循环读取数据内存不足的解决方案


Posted in Python onMay 25, 2021

看代码吧~

import gc
for x in list(locals().keys())[:]:
    del locals()[x]
# del all_s_x, AE, AE_split, x_ticks, split
gc.collect()

补充:Python读取大文件的"坑“与内存占用检测

python读写文件的api都很简单,一不留神就容易踩”坑“。笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码。

1.read()与readlines():

随手搜索python读写文件的教程,很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码:

with open(file_path, 'rb') as f:
    sha1Obj.update(f.read())

or

with open(file_path, 'rb') as f:
    for line in f.readlines():
        print(line)

这对方法在读取小文件时确实不会产生什么异常,但是一旦读取大文件,很容易会产生MemoryError,也就是内存溢出的问题。

Why Memory Error?

我们首先来看看这两个方法:

当默认参数size=-1时,read方法会读取直到EOF,当文件大小大于可用内存时,自然会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

同样的,readlines会构造一个list。list而不是iter,所以所有的内容都会保存在内存之上,同样也会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

2.正确的用法:

在实际运行的系统之中如果写出上述代码是十分危险的,这种”坑“十分隐蔽。所以接下来我们来了解一下正确用,正确的用法也很简单,依照API之中对函数的描述来进行对应的编码就OK了:

如果是二进制文件推荐用如下这种写法,可以自己指定缓冲区有多少byte。显然缓冲区越大,读取速度越快。

with open(file_path, 'rb') as f:
    while True:
        buf = f.read(1024)
        if buf:    
            sha1Obj.update(buf)
        else:
            break

而如果是文本文件,则可以用readline方法或直接迭代文件(python这里封装了一个语法糖,二者的内生逻辑一致,不过显然迭代文件的写法更pythonic )每次读取一行,效率是比较低的。笔者简单测试了一下,在3G文件之下,大概性能和前者差了20%.

with open(file_path, 'rb') as f:
    while True:
        line = f.readline()
        if buf:    
            print(line)
        else:
            break
with open(file_path, 'rb') as f:
    for line in f:
        print(line)

3.内存检测工具的介绍:

对于python代码的内存占用问题,对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

memory_profiler

首先先用pip安装memory_profiler

pip install memory_profiler

memory_profiler是利用python的装饰器工作的,所以我们需要在进行测试的函数上添加装饰器。

from hashlib import sha1
import sys
@profile
def my_func():
    sha1Obj = sha1()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                sha1Obj.update(buf)
            else:
                break
    print(sha1Obj.hexdigest())
if __name__ == '__main__':
    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

Python 循环读取数据内存不足的解决方案

guppy

依样画葫芦,仍然是通过pip先安装guppy

pip install guppy

之后可以在代码之中利用guppy直接打印出对应各种python类型(list、tuple、dict等)分别创建了多少对象,占用了多少内存。

from guppy import hpy
import sys
def my_func():
    mem = hpy()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                print(mem.heap())
            else:
                break

如下图所示,可以看到打印出对应的内存占用数据:

Python 循环读取数据内存不足的解决方案

通过上述两种工具guppy与memory_profiler可以很好地来监控python代码运行时的内存占用问题。

4.小结:

python是一门崇尚简洁的语言,但是正是因为它的简洁反而更多了许多需要仔细推敲和思考的细节。希望大家在日常工作与学习之中也能多对一些细节进行总结,少踩一些不必要的“坑”。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python中DOM方法的动态性
Apr 11 Python
python实现简易版计算器
Jun 22 Python
Flask框架学习笔记之模板操作实例详解
Aug 15 Python
使用OpenCV实现仿射变换—平移功能
Aug 29 Python
手把手教你Python yLab的绘制折线图的画法
Oct 23 Python
Python队列、进程间通信、线程案例
Oct 25 Python
python读写文件write和flush的实现方式
Feb 21 Python
Pycharm IDE的安装和使用教程详解
Apr 30 Python
Python使用sqlite3模块内置数据库
May 07 Python
如何用Matplotlib 画三维图的示例代码
Jul 28 Python
python 将html转换为pdf的几种方法
Dec 29 Python
用Python爬取英雄联盟的皮肤详细示例
Dec 06 Python
python基于机器学习预测股票交易信号
Python数据可视化之绘制柱状图和条形图
总结Python常用的魔法方法
Python入门学习之类的相关知识总结
python munch库的使用解析
May 25 #Python
python调试工具Birdseye的使用教程
浅谈Python numpy创建空数组的问题
May 25 #Python
You might like
php实现统计邮件大小的方法
2013/08/06 PHP
使用PHP如何实现高效安全的ftp服务器(一)
2015/12/20 PHP
PHP会员找回密码功能的简单实现
2016/09/05 PHP
Javascript & DHTML 实例编程(教程)(三)初级实例篇1—上传文件控件实例
2007/06/02 Javascript
JQERY limittext 插件0.2版(长内容限制显示)
2010/08/27 Javascript
jquery图片上下tab切换效果
2011/03/18 Javascript
eclipse导入jquery包后报错的解决方法
2014/02/17 Javascript
javascript中的遍历for in 以及with的用法
2014/12/22 Javascript
JavaScript使用encodeURI()和decodeURI()获取字符串值的方法
2015/08/04 Javascript
jQuery实现图片左右滚动特效
2020/04/20 Javascript
js实现简单折叠、展开菜单的方法
2015/08/28 Javascript
jQuery文字横向滚动效果的实现代码
2016/05/31 Javascript
jQuery简单实现彩色云标签效果示例
2016/08/01 Javascript
EasyUI折叠表格层次显示detailview详解及实例
2016/12/28 Javascript
js下拉菜单生成器dropMenu使用方法详解
2017/08/01 Javascript
Angular4学习笔记之实现绑定和分包
2017/08/01 Javascript
关于在mongoose中填充外键的方法详解
2017/08/14 Javascript
JS库之Highlight.js的用法详解
2017/09/13 Javascript
javascript设计模式 ? 建造者模式原理与应用实例分析
2020/04/10 Javascript
vue 组件间的通信之子组件向父组件传值的方式
2020/07/29 Javascript
python中numpy基础学习及进行数组和矢量计算
2017/02/12 Python
pygame游戏之旅 添加键盘按键的方法
2018/11/20 Python
django框架模板中定义变量(set variable in django template)的方法分析
2019/06/24 Python
python3实现绘制二维点图
2019/12/04 Python
python 读取更新中的log 或其它文本方式
2019/12/24 Python
领先的荷兰线上超市:荷兰之家Holland at Home(支持中文)
2021/01/21 全球购物
个人优缺点自我评价
2014/01/27 职场文书
暑期社会实践方案
2014/02/05 职场文书
父母对孩子的寄语
2014/04/09 职场文书
正风肃纪查摆剖析材料
2014/10/10 职场文书
作风转变年心得体会
2014/10/22 职场文书
面试复试通知单
2015/04/24 职场文书
三严三实学习心得体会(精选N篇)
2016/01/05 职场文书
财务年终工作总结大全
2019/06/20 职场文书
简历中的自我评价应该这样写!
2019/07/12 职场文书
golang协程池模拟实现群发邮件功能
2021/05/02 Golang