Python 循环读取数据内存不足的解决方案


Posted in Python onMay 25, 2021

看代码吧~

import gc
for x in list(locals().keys())[:]:
    del locals()[x]
# del all_s_x, AE, AE_split, x_ticks, split
gc.collect()

补充:Python读取大文件的"坑“与内存占用检测

python读写文件的api都很简单,一不留神就容易踩”坑“。笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码。

1.read()与readlines():

随手搜索python读写文件的教程,很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码:

with open(file_path, 'rb') as f:
    sha1Obj.update(f.read())

or

with open(file_path, 'rb') as f:
    for line in f.readlines():
        print(line)

这对方法在读取小文件时确实不会产生什么异常,但是一旦读取大文件,很容易会产生MemoryError,也就是内存溢出的问题。

Why Memory Error?

我们首先来看看这两个方法:

当默认参数size=-1时,read方法会读取直到EOF,当文件大小大于可用内存时,自然会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

同样的,readlines会构造一个list。list而不是iter,所以所有的内容都会保存在内存之上,同样也会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

2.正确的用法:

在实际运行的系统之中如果写出上述代码是十分危险的,这种”坑“十分隐蔽。所以接下来我们来了解一下正确用,正确的用法也很简单,依照API之中对函数的描述来进行对应的编码就OK了:

如果是二进制文件推荐用如下这种写法,可以自己指定缓冲区有多少byte。显然缓冲区越大,读取速度越快。

with open(file_path, 'rb') as f:
    while True:
        buf = f.read(1024)
        if buf:    
            sha1Obj.update(buf)
        else:
            break

而如果是文本文件,则可以用readline方法或直接迭代文件(python这里封装了一个语法糖,二者的内生逻辑一致,不过显然迭代文件的写法更pythonic )每次读取一行,效率是比较低的。笔者简单测试了一下,在3G文件之下,大概性能和前者差了20%.

with open(file_path, 'rb') as f:
    while True:
        line = f.readline()
        if buf:    
            print(line)
        else:
            break
with open(file_path, 'rb') as f:
    for line in f:
        print(line)

3.内存检测工具的介绍:

对于python代码的内存占用问题,对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

memory_profiler

首先先用pip安装memory_profiler

pip install memory_profiler

memory_profiler是利用python的装饰器工作的,所以我们需要在进行测试的函数上添加装饰器。

from hashlib import sha1
import sys
@profile
def my_func():
    sha1Obj = sha1()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                sha1Obj.update(buf)
            else:
                break
    print(sha1Obj.hexdigest())
if __name__ == '__main__':
    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

Python 循环读取数据内存不足的解决方案

guppy

依样画葫芦,仍然是通过pip先安装guppy

pip install guppy

之后可以在代码之中利用guppy直接打印出对应各种python类型(list、tuple、dict等)分别创建了多少对象,占用了多少内存。

from guppy import hpy
import sys
def my_func():
    mem = hpy()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                print(mem.heap())
            else:
                break

如下图所示,可以看到打印出对应的内存占用数据:

Python 循环读取数据内存不足的解决方案

通过上述两种工具guppy与memory_profiler可以很好地来监控python代码运行时的内存占用问题。

4.小结:

python是一门崇尚简洁的语言,但是正是因为它的简洁反而更多了许多需要仔细推敲和思考的细节。希望大家在日常工作与学习之中也能多对一些细节进行总结,少踩一些不必要的“坑”。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现的登陆Discuz!论坛通用代码分享
Jul 11 Python
python实现ipsec开权限实例
Nov 11 Python
说一说Python logging
Apr 15 Python
Python 面试中 8 个必考问题
Nov 16 Python
Python删除n行后的其他行方法
Jan 28 Python
python+logging+yaml实现日志分割
Jul 22 Python
python 接口实现 供第三方调用的例子
Aug 13 Python
使用PyInstaller将Pygame库编写的小游戏程序打包为exe文件及出现问题解决方法
Sep 06 Python
简单了解python中的与或非运算
Sep 18 Python
python3 assert 断言的使用详解 (区别于python2)
Nov 27 Python
python3 实现函数写文件路径的正确方法
Nov 27 Python
Python 格式化输出_String Formatting_控制小数点位数的实例详解
Feb 04 Python
python基于机器学习预测股票交易信号
Python数据可视化之绘制柱状图和条形图
总结Python常用的魔法方法
Python入门学习之类的相关知识总结
python munch库的使用解析
May 25 #Python
python调试工具Birdseye的使用教程
浅谈Python numpy创建空数组的问题
May 25 #Python
You might like
一个php作的文本留言本的例子(二)
2006/10/09 PHP
使用PHP提取视频网站页面中的FLASH地址的代码
2010/04/17 PHP
PHP引用的调用方法分析
2016/04/25 PHP
PHP实现电商订单自动确认收货redis队列
2017/05/17 PHP
PHPCrawl爬虫库实现抓取酷狗歌单的方法示例
2017/12/21 PHP
php实现图片压缩处理
2020/09/09 PHP
JavaScript事件列表解说
2006/12/22 Javascript
Javascript 继承机制实例
2009/08/12 Javascript
jquery插件之easing 动态菜单
2010/08/21 Javascript
JS 表单验证大全
2011/11/23 Javascript
js游戏人物上下左右跑步效果代码分享
2015/08/28 Javascript
利用BootStrap弹出二级对话框的简单实现方法
2016/09/21 Javascript
ES6新增数据结构WeakSet的用法详解
2017/08/07 Javascript
webpack v4 从dev到prd的方法
2018/04/02 Javascript
angular 实现同步验证器跨字段验证的方法
2019/04/11 Javascript
JS实现基本的网页计算器功能示例
2020/01/16 Javascript
Python实现命令行通讯录实例教程
2016/08/18 Python
jupyter 中文乱码设置编码格式 避免控制台输出的解决
2020/04/20 Python
Python如何读写CSV文件
2020/08/13 Python
linux mint中搜狗输入法导致pycharm卡死的问题
2020/10/28 Python
python操作ini类型配置文件的实例教程
2020/10/30 Python
python实现杨辉三角的几种方法代码实例
2021/03/02 Python
浅析CSS3 中的 transition,transform,translate之间区别和作用
2020/03/26 HTML / CSS
香港草莓网土耳其网站:Strawberrynet TR
2017/03/02 全球购物
澳大利亚领先的皮肤诊所:Skin Matrix(抗衰老、痤疮专家、药妆护肤)
2018/05/20 全球购物
文员个人的求职信范文
2013/09/26 职场文书
幼儿园元旦活动感言
2014/03/02 职场文书
资金主管岗位职责范本
2014/03/04 职场文书
村党支部换届选举方案
2014/05/02 职场文书
幼儿园课题实施方案
2014/05/14 职场文书
房屋出租协议书范本(标准版)
2014/09/24 职场文书
大学生个人学年总结
2015/02/15 职场文书
2016年寒假社会实践活动总结
2015/03/27 职场文书
学习弘扬焦裕禄精神心得体会
2016/01/23 职场文书
六种css3实现的边框过渡效果
2021/04/22 HTML / CSS
一篇文章了解正则表达式的替换技巧
2022/02/24 Javascript