Python 循环读取数据内存不足的解决方案


Posted in Python onMay 25, 2021

看代码吧~

import gc
for x in list(locals().keys())[:]:
    del locals()[x]
# del all_s_x, AE, AE_split, x_ticks, split
gc.collect()

补充:Python读取大文件的"坑“与内存占用检测

python读写文件的api都很简单,一不留神就容易踩”坑“。笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码。

1.read()与readlines():

随手搜索python读写文件的教程,很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码:

with open(file_path, 'rb') as f:
    sha1Obj.update(f.read())

or

with open(file_path, 'rb') as f:
    for line in f.readlines():
        print(line)

这对方法在读取小文件时确实不会产生什么异常,但是一旦读取大文件,很容易会产生MemoryError,也就是内存溢出的问题。

Why Memory Error?

我们首先来看看这两个方法:

当默认参数size=-1时,read方法会读取直到EOF,当文件大小大于可用内存时,自然会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

同样的,readlines会构造一个list。list而不是iter,所以所有的内容都会保存在内存之上,同样也会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

2.正确的用法:

在实际运行的系统之中如果写出上述代码是十分危险的,这种”坑“十分隐蔽。所以接下来我们来了解一下正确用,正确的用法也很简单,依照API之中对函数的描述来进行对应的编码就OK了:

如果是二进制文件推荐用如下这种写法,可以自己指定缓冲区有多少byte。显然缓冲区越大,读取速度越快。

with open(file_path, 'rb') as f:
    while True:
        buf = f.read(1024)
        if buf:    
            sha1Obj.update(buf)
        else:
            break

而如果是文本文件,则可以用readline方法或直接迭代文件(python这里封装了一个语法糖,二者的内生逻辑一致,不过显然迭代文件的写法更pythonic )每次读取一行,效率是比较低的。笔者简单测试了一下,在3G文件之下,大概性能和前者差了20%.

with open(file_path, 'rb') as f:
    while True:
        line = f.readline()
        if buf:    
            print(line)
        else:
            break
with open(file_path, 'rb') as f:
    for line in f:
        print(line)

3.内存检测工具的介绍:

对于python代码的内存占用问题,对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

memory_profiler

首先先用pip安装memory_profiler

pip install memory_profiler

memory_profiler是利用python的装饰器工作的,所以我们需要在进行测试的函数上添加装饰器。

from hashlib import sha1
import sys
@profile
def my_func():
    sha1Obj = sha1()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                sha1Obj.update(buf)
            else:
                break
    print(sha1Obj.hexdigest())
if __name__ == '__main__':
    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

Python 循环读取数据内存不足的解决方案

guppy

依样画葫芦,仍然是通过pip先安装guppy

pip install guppy

之后可以在代码之中利用guppy直接打印出对应各种python类型(list、tuple、dict等)分别创建了多少对象,占用了多少内存。

from guppy import hpy
import sys
def my_func():
    mem = hpy()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                print(mem.heap())
            else:
                break

如下图所示,可以看到打印出对应的内存占用数据:

Python 循环读取数据内存不足的解决方案

通过上述两种工具guppy与memory_profiler可以很好地来监控python代码运行时的内存占用问题。

4.小结:

python是一门崇尚简洁的语言,但是正是因为它的简洁反而更多了许多需要仔细推敲和思考的细节。希望大家在日常工作与学习之中也能多对一些细节进行总结,少踩一些不必要的“坑”。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Pyramid添加Middleware的方法实例
Nov 27 Python
用python实现面向对像的ASP程序实例
Nov 10 Python
在Python下尝试多线程编程
Apr 28 Python
详解flask表单提交的两种方式
Jul 21 Python
python调用百度语音识别实现大音频文件语音识别功能
Aug 30 Python
Python multiprocess pool模块报错pickling error问题解决方法分析
Mar 20 Python
python实现随机漫步方法和原理
Jun 10 Python
浅析PyTorch中nn.Linear的使用
Aug 18 Python
基于Python计算圆周率pi代码实例
Mar 25 Python
python实现音乐播放和下载小程序功能
Apr 26 Python
python中wx模块的具体使用方法
May 15 Python
Python几种酷炫的进度条的方式
Apr 11 Python
python基于机器学习预测股票交易信号
Python数据可视化之绘制柱状图和条形图
总结Python常用的魔法方法
Python入门学习之类的相关知识总结
python munch库的使用解析
May 25 #Python
python调试工具Birdseye的使用教程
浅谈Python numpy创建空数组的问题
May 25 #Python
You might like
PHP输入输出流学习笔记
2015/05/12 PHP
CI框架文件上传类及图像处理类用法分析
2016/05/18 PHP
PHP微信API接口类
2016/08/22 PHP
laravel validate 设置为中文的例子(验证提示为中文)
2019/09/29 PHP
用JS判别浏览器种类以及IE版本的几种方法小结
2011/08/02 Javascript
jQuery ajax(复习)—Baidu ajax request分离版
2013/01/24 Javascript
一个JavaScript处理textarea中的字符成每一行实例
2014/09/22 Javascript
JavaScript Math.ceil 方法(对数值向上取整)
2015/01/09 Javascript
Angular JS 生成动态二维码的方法
2017/02/23 Javascript
Vuex简单入门
2017/04/19 Javascript
JS实现为动态添加的元素增加事件功能示例【基于事件委托】
2018/03/21 Javascript
vue+iview+less 实现换肤功能
2018/08/17 Javascript
详解用场景去理解函数柯里化(入门篇)
2019/04/11 Javascript
使用JavaScript实现网页秒表功能(含开始、暂停、继续、重置功能)
2020/06/05 Javascript
Jquery $.map使用方法实例详解
2020/09/01 jQuery
[01:16:01]VGJ.S vs Mski Supermajor小组赛C组 BO3 第一场 6.3
2018/06/04 DOTA
Python用Pillow(PIL)进行简单的图像操作方法
2017/07/07 Python
python requests 库请求带有文件参数的接口实例
2019/01/03 Python
Django 中自定义 Admin 样式与功能的实现方法
2019/07/04 Python
Django框架之DRF 基于mixins来封装的视图详解
2019/07/23 Python
python实现异常信息堆栈输出到日志文件
2019/12/26 Python
python统计字符的个数代码实例
2020/02/07 Python
web页面录屏实现
2019/02/12 HTML / CSS
简述进程的启动、终止的方式以及如何进行进程的查看
2014/02/20 面试题
GWT的应用有哪两种部署模式
2012/12/21 面试题
优秀毕业大学生推荐信
2013/11/13 职场文书
大学生党员自我批评
2014/02/14 职场文书
毕业班联欢会主持词
2014/03/27 职场文书
中药学自荐信
2014/06/15 职场文书
幼儿园大班开学寄语
2014/08/02 职场文书
2014年个人工作总结范文
2014/11/07 职场文书
师德师风主题教育活动总结
2015/05/07 职场文书
2015年路政工作总结
2015/05/22 职场文书
2015年团委副书记工作总结
2015/07/23 职场文书
MySQL表的增删改查(基础)
2021/04/05 MySQL
MySQL 如何限制一张表的记录数
2021/09/14 MySQL