Python 循环读取数据内存不足的解决方案


Posted in Python onMay 25, 2021

看代码吧~

import gc
for x in list(locals().keys())[:]:
    del locals()[x]
# del all_s_x, AE, AE_split, x_ticks, split
gc.collect()

补充:Python读取大文件的"坑“与内存占用检测

python读写文件的api都很简单,一不留神就容易踩”坑“。笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码。

1.read()与readlines():

随手搜索python读写文件的教程,很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码:

with open(file_path, 'rb') as f:
    sha1Obj.update(f.read())

or

with open(file_path, 'rb') as f:
    for line in f.readlines():
        print(line)

这对方法在读取小文件时确实不会产生什么异常,但是一旦读取大文件,很容易会产生MemoryError,也就是内存溢出的问题。

Why Memory Error?

我们首先来看看这两个方法:

当默认参数size=-1时,read方法会读取直到EOF,当文件大小大于可用内存时,自然会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

同样的,readlines会构造一个list。list而不是iter,所以所有的内容都会保存在内存之上,同样也会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

2.正确的用法:

在实际运行的系统之中如果写出上述代码是十分危险的,这种”坑“十分隐蔽。所以接下来我们来了解一下正确用,正确的用法也很简单,依照API之中对函数的描述来进行对应的编码就OK了:

如果是二进制文件推荐用如下这种写法,可以自己指定缓冲区有多少byte。显然缓冲区越大,读取速度越快。

with open(file_path, 'rb') as f:
    while True:
        buf = f.read(1024)
        if buf:    
            sha1Obj.update(buf)
        else:
            break

而如果是文本文件,则可以用readline方法或直接迭代文件(python这里封装了一个语法糖,二者的内生逻辑一致,不过显然迭代文件的写法更pythonic )每次读取一行,效率是比较低的。笔者简单测试了一下,在3G文件之下,大概性能和前者差了20%.

with open(file_path, 'rb') as f:
    while True:
        line = f.readline()
        if buf:    
            print(line)
        else:
            break
with open(file_path, 'rb') as f:
    for line in f:
        print(line)

3.内存检测工具的介绍:

对于python代码的内存占用问题,对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

memory_profiler

首先先用pip安装memory_profiler

pip install memory_profiler

memory_profiler是利用python的装饰器工作的,所以我们需要在进行测试的函数上添加装饰器。

from hashlib import sha1
import sys
@profile
def my_func():
    sha1Obj = sha1()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                sha1Obj.update(buf)
            else:
                break
    print(sha1Obj.hexdigest())
if __name__ == '__main__':
    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

Python 循环读取数据内存不足的解决方案

guppy

依样画葫芦,仍然是通过pip先安装guppy

pip install guppy

之后可以在代码之中利用guppy直接打印出对应各种python类型(list、tuple、dict等)分别创建了多少对象,占用了多少内存。

from guppy import hpy
import sys
def my_func():
    mem = hpy()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                print(mem.heap())
            else:
                break

如下图所示,可以看到打印出对应的内存占用数据:

Python 循环读取数据内存不足的解决方案

通过上述两种工具guppy与memory_profiler可以很好地来监控python代码运行时的内存占用问题。

4.小结:

python是一门崇尚简洁的语言,但是正是因为它的简洁反而更多了许多需要仔细推敲和思考的细节。希望大家在日常工作与学习之中也能多对一些细节进行总结,少踩一些不必要的“坑”。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Django框架中处理URLconf中特定的URL的方法
Jul 20 Python
python 多线程实现检测服务器在线情况
Nov 25 Python
python安装twisted的问题解析
Aug 21 Python
Django Rest framework之权限的实现示例
Dec 17 Python
Python利用lxml模块爬取豆瓣读书排行榜的方法与分析
Apr 15 Python
python 实现兔子生兔子示例
Nov 21 Python
pandas实现DataFrame显示最大行列,不省略显示实例
Dec 26 Python
Pycharm小白级简单使用教程
Jan 08 Python
Python实现对adb命令封装
Mar 06 Python
Python基于当前时间批量创建文件
May 07 Python
opencv+python实现鼠标点击图像,输出该点的RGB和HSV值
Jun 02 Python
Python利用socket模块开发简单的端口扫描工具的实现
Jan 27 Python
python基于机器学习预测股票交易信号
Python数据可视化之绘制柱状图和条形图
总结Python常用的魔法方法
Python入门学习之类的相关知识总结
python munch库的使用解析
May 25 #Python
python调试工具Birdseye的使用教程
浅谈Python numpy创建空数组的问题
May 25 #Python
You might like
实现分十页分向前十页向后十页的处理
2006/10/09 PHP
php实现贪吃蛇小游戏
2016/07/26 PHP
使用WAMP搭建PHP本地开发环境
2017/05/10 PHP
PHP获取redis里不存在的6位随机数应用示例【设置24小时过时】
2017/06/07 PHP
PHP使用gearman进行异步的邮件或短信发送操作详解
2020/02/27 PHP
jQuery EasyUI API 中文文档 搜索框
2011/09/29 Javascript
理解JAVASCRIPT中hasOwnProperty()的作用
2013/06/05 Javascript
jquery图片不完全按比例自动缩小的简单代码
2013/07/29 Javascript
jquery选择器使用详解
2014/04/08 Javascript
node.js中的fs.futimesSync方法使用说明
2014/12/17 Javascript
javascript生成随机数方法汇总
2015/11/12 Javascript
js HTML5上传示例代码完整版
2016/10/10 Javascript
浅谈js继承的实现及公有、私有、静态方法的书写
2016/10/28 Javascript
jQuery html表格排序插件tablesorter使用方法详解
2017/02/10 Javascript
基于javascript中的typeof和类型判断(详解)
2017/10/27 Javascript
详解create-react-app 自定义 eslint 配置
2018/06/07 Javascript
vue实现自定义日期组件功能的实例代码
2018/11/06 Javascript
javascript Canvas动态粒子连线
2020/01/01 Javascript
vue操作dom元素的3种方法示例
2020/09/20 Javascript
[01:25]2015国际邀请赛最佳短片奖——斧王《拆塔英雄:天赋异禀》
2015/09/22 DOTA
[59:00]DOTA2-DPC中国联赛 正赛 Ehome vs PSG.LGD BO3 第一场 3月7日
2021/03/11 DOTA
Python实现的Excel文件读写类
2015/07/30 Python
python&MongoDB爬取图书馆借阅记录
2016/02/05 Python
基于Python 装饰器装饰类中的方法实例
2018/04/21 Python
Python将8位的图片转为24位的图片实现方法
2018/10/24 Python
基于python-opencv3的图像显示和保存操作
2019/06/27 Python
Python urllib.request对象案例解析
2020/05/11 Python
CSS3实现王者荣耀匹配人员加载页面的方法
2019/04/16 HTML / CSS
香港时尚女装购物网站:ZAFUL
2017/07/19 全球购物
毕业生物理教师求职信
2013/10/17 职场文书
小学生打架检讨书
2014/01/26 职场文书
2014年助理工程师工作总结
2014/11/14 职场文书
2014年药房工作总结
2014/11/22 职场文书
优秀创业计划书分享
2019/07/19 职场文书
62句有关感恩节文案(推荐收藏)
2019/11/28 职场文书
MySQL派生表联表查询实战过程
2022/03/20 MySQL