Python 循环读取数据内存不足的解决方案


Posted in Python onMay 25, 2021

看代码吧~

import gc
for x in list(locals().keys())[:]:
    del locals()[x]
# del all_s_x, AE, AE_split, x_ticks, split
gc.collect()

补充:Python读取大文件的"坑“与内存占用检测

python读写文件的api都很简单,一不留神就容易踩”坑“。笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码。

1.read()与readlines():

随手搜索python读写文件的教程,很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码:

with open(file_path, 'rb') as f:
    sha1Obj.update(f.read())

or

with open(file_path, 'rb') as f:
    for line in f.readlines():
        print(line)

这对方法在读取小文件时确实不会产生什么异常,但是一旦读取大文件,很容易会产生MemoryError,也就是内存溢出的问题。

Why Memory Error?

我们首先来看看这两个方法:

当默认参数size=-1时,read方法会读取直到EOF,当文件大小大于可用内存时,自然会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

同样的,readlines会构造一个list。list而不是iter,所以所有的内容都会保存在内存之上,同样也会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

2.正确的用法:

在实际运行的系统之中如果写出上述代码是十分危险的,这种”坑“十分隐蔽。所以接下来我们来了解一下正确用,正确的用法也很简单,依照API之中对函数的描述来进行对应的编码就OK了:

如果是二进制文件推荐用如下这种写法,可以自己指定缓冲区有多少byte。显然缓冲区越大,读取速度越快。

with open(file_path, 'rb') as f:
    while True:
        buf = f.read(1024)
        if buf:    
            sha1Obj.update(buf)
        else:
            break

而如果是文本文件,则可以用readline方法或直接迭代文件(python这里封装了一个语法糖,二者的内生逻辑一致,不过显然迭代文件的写法更pythonic )每次读取一行,效率是比较低的。笔者简单测试了一下,在3G文件之下,大概性能和前者差了20%.

with open(file_path, 'rb') as f:
    while True:
        line = f.readline()
        if buf:    
            print(line)
        else:
            break
with open(file_path, 'rb') as f:
    for line in f:
        print(line)

3.内存检测工具的介绍:

对于python代码的内存占用问题,对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

memory_profiler

首先先用pip安装memory_profiler

pip install memory_profiler

memory_profiler是利用python的装饰器工作的,所以我们需要在进行测试的函数上添加装饰器。

from hashlib import sha1
import sys
@profile
def my_func():
    sha1Obj = sha1()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                sha1Obj.update(buf)
            else:
                break
    print(sha1Obj.hexdigest())
if __name__ == '__main__':
    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

Python 循环读取数据内存不足的解决方案

guppy

依样画葫芦,仍然是通过pip先安装guppy

pip install guppy

之后可以在代码之中利用guppy直接打印出对应各种python类型(list、tuple、dict等)分别创建了多少对象,占用了多少内存。

from guppy import hpy
import sys
def my_func():
    mem = hpy()
    with open(sys.argv[1], 'rb') as f:
        while True:
            buf = f.read(10 * 1024 * 1024)
            if buf:
                print(mem.heap())
            else:
                break

如下图所示,可以看到打印出对应的内存占用数据:

Python 循环读取数据内存不足的解决方案

通过上述两种工具guppy与memory_profiler可以很好地来监控python代码运行时的内存占用问题。

4.小结:

python是一门崇尚简洁的语言,但是正是因为它的简洁反而更多了许多需要仔细推敲和思考的细节。希望大家在日常工作与学习之中也能多对一些细节进行总结,少踩一些不必要的“坑”。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python无损音乐搜索引擎实现代码
Feb 02 Python
Python基础教程之利用期物处理并发
Mar 29 Python
python调用API实现智能回复机器人
Apr 10 Python
python 按不同维度求和,最值,均值的实例
Jun 28 Python
在Python中使用Neo4j的方法
Mar 14 Python
python爬虫实现中英翻译词典
Jun 25 Python
python 实现在一张图中绘制一个小的子图方法
Jul 07 Python
Python内存管理实例分析
Jul 10 Python
python实现随机加减法生成器
Feb 24 Python
Pymysql实现往表中插入数据过程解析
Jun 02 Python
Python使用Chrome插件实现爬虫过程图解
Jun 09 Python
10个python爬虫入门实例(小结)
Nov 01 Python
python基于机器学习预测股票交易信号
Python数据可视化之绘制柱状图和条形图
总结Python常用的魔法方法
Python入门学习之类的相关知识总结
python munch库的使用解析
May 25 #Python
python调试工具Birdseye的使用教程
浅谈Python numpy创建空数组的问题
May 25 #Python
You might like
php header功能的使用
2013/10/28 PHP
php一维二维数组键排序方法实例总结
2014/11/13 PHP
PHP分页类集锦
2014/11/18 PHP
Laravel 关联模型-关联新增和关联更新的方法
2019/10/10 PHP
js移除事件 js绑定事件实例应用
2012/11/28 Javascript
js切换div css注意的细节
2012/12/10 Javascript
关于jQuery参考实例2.0 用jQuery选择元素
2013/04/07 Javascript
JavaScript通过元素的ID和name设置样式
2014/07/08 Javascript
javascript封装简单实现方法
2015/08/11 Javascript
基于jQuery.validate及Bootstrap的tooltip开发气泡样式的表单校验组件思路详解
2016/07/18 Javascript
nodejs连接mongodb数据库实现增删改查
2016/12/01 NodeJs
canvas学习之API整理笔记(二)
2016/12/29 Javascript
微信小程序 textarea 组件详解及简单实例
2017/01/10 Javascript
使用ThinkJs搭建微信中控服务的实现方法
2019/08/08 Javascript
微信小程序实现身份证取景框拍摄
2020/09/09 Javascript
[59:30]完美世界DOTA2联赛PWL S3 access vs LBZS 第二场 12.20
2020/12/23 DOTA
Python Requests安装与简单运用
2016/04/07 Python
Python读取stdin方法实例
2019/05/24 Python
python实现接口并发测试脚本
2019/06/25 Python
Python使用扩展库pywin32实现批量文档打印实例
2020/04/09 Python
python+django+selenium搭建简易自动化测试
2020/08/19 Python
深入分析python 排序
2020/08/24 Python
python安装sklearn模块的方法详解
2020/11/28 Python
介绍CSS3使用技巧5个
2009/04/02 HTML / CSS
Draper James官网:知名演员瑞茜·威瑟斯彭所创品牌
2017/10/25 全球购物
保加利亚运动鞋购物网站:SneakerStudio.bg
2020/12/23 全球购物
总会计师岗位职责
2014/02/19 职场文书
北体毕业生求职信
2014/02/28 职场文书
服务承诺书怎么写
2014/05/24 职场文书
法制教育演讲稿
2014/09/10 职场文书
医院2014国庆节活动策划方案
2014/09/21 职场文书
旅行社计调工作总结
2015/08/12 职场文书
2016年七夕情人节宣传语
2015/11/25 职场文书
导游词之镇江西津古渡
2019/11/06 职场文书
关于Python OS模块常用文件/目录函数详解
2021/07/01 Python
redis不能访问本机真实ip地址的解决方案
2021/07/07 Redis