Python内存泄漏和内存溢出的解决方案


Posted in Python onSeptember 26, 2020

一、内存泄漏

像Java程序一样,虽然Python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题。
对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。

1、内存泄露的原因

对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因:

  • 所用到的用 C 语言开发的底层模块中出现了内存泄露。
  • 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收
  • 代码中有“引用循环”,并且被循环引用的对象定义了__del__方法,就会发生内存泄露。

为什么循环引用的对象定义了__del__方法后collect就不起作用了呢?

gc模块最常使用的方法就是gc.collect()方法,使用collect方法对循环引用的对象进行垃圾回收。
如果我们在类中重载了__del__方法。__del__方法定义了在用del语句删除对象时除了释放内存空间以外的操作。
一般而言,在使用了del语句的时候解释器首先会看要删除对象的引用计数,如果为0,那么就释放内存并执行del方法。
在这里,首先del语句出现时本身引用计数就不为0(因为有循环引用的存在),所以解释器不释放内存;
再者,执行collect方法时应该会清除循环引用所产生的无效引用计数从而达到del的目的,对于这两个循环引用对象而言,
python无法判断调用它们的del方法时会不会要用到对方那个对象,比如在进行b.del()时可能会用到b._a也就是a,如果在那之前a已经被释放,那么就彻底GG了。
为了避免这种情况,collect方法默认不对重载了del方法的循环引用对象进行回收,而它们俩的状态也会从unreachable转变为uncollectable。由于是uncollectable的,自然就不会被collect处理,所以就进入了garbage列表。

2、内存泄露的诊断思路

无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。

3、诊断步骤

用到的工具: gc 模块和 objgraph 模块

gc模块 是Python的垃圾收集器模块,gc使用标记清除算法回收垃圾

objgraph 是一个用于诊断内存问题的工具

  • 1、 在服务程序的循环逻辑中,选择出一个诊断点
  • 2、 在诊断点,插入如下诊断语句  
import gc
import objgraph


### 强制进行垃圾回收 
gc.collect() 

### 打印出对象数目最多的 50 个类型信息 
objgraph.show_most_common_types(limit=50)

4、检查统计信息,找到异常对象

运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。

比如,排查结果可能是:
一个多线程程序,多个线程作为生产者,一个线程作为消费者,通过将一个 tuple 对象送入异步队列进行通信。
由于消费者的处理速度跟不上生产者的速度,又没有进行同步, 导致异步队列中的对象越来越多。

二、内存溢出

1、内存溢出原因

  1. 内存中加载的数据量过于庞大,如一次从数据库取出过多数据
  2. 集合类中有对对象的引用,使用完后未清空,产生了堆积,使得JVM不能回收
  3. 代码中存在死循环或循环产生过多重复的对象实体
  4. 使用的第三方软件中的BUG
  5. 启动参数内存值设定的过小

2、内存溢出的解决方案

第一步,修改JVM启动参数,直接增加内存(-Xms,-Xmx参数一定不要忘记加)

第二步,检查错误日志,查看“OutOfMemory”错误前是否有其 它异常或错误

第三步,对代码进行走查和分析,找出可能发生内存溢出的位置

重点排查以下几点:

  1. 检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
  2. 检查代码中是否有死循环或递归调用。
  3. 检查是否有大循环重复产生新对象实体。
  4. 检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。

第四步,使用内存查看工具动态查看内存使用情况

三、内存泄漏和内存溢出的区别

内存溢出是指向JVM申请内存空间时没有足够的可用内存了,就会抛出OOM即内存溢出。

内存泄漏是指,向JVM申请了一块内存空间,使用完后没有释放,由于没有释放,这块内存区域其他类加载的时候无法申请,

同时当前类又没有这块内存空间的内存地址了也无法使用,相当于丢了一块内存,这就是内存泄漏。

值得注意的是内存泄漏最终会导致内存溢出,很好理解,内存丢了很多最后当然内存不够用了。

以上就是Python内存泄漏和内存溢出的解决方案的详细内容,更多关于Python内存泄漏和内存溢出的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
浅谈Python实现Apriori算法介绍
Dec 20 Python
Python并行分布式框架Celery详解
Oct 15 Python
python实现杨氏矩阵查找
Mar 02 Python
对Python函数设计规范详解
Jul 19 Python
python爬虫项目设置一个中断重连的程序的实现
Jul 26 Python
python Web flask 视图内容和模板实现代码
Aug 23 Python
python pyinstaller打包exe报错的解决方法
Nov 02 Python
浅谈图像处理中掩膜(mask)的意义
Feb 19 Python
关于jupyter打开之后不能直接跳转到浏览器的解决方式
Apr 13 Python
Python新手学习装饰器
Jun 04 Python
Python爬虫自动化爬取b站实时弹幕实例方法
Jan 26 Python
pytorch常用数据类型所占字节数对照表一览
May 17 Python
python 两种方法修改文件的创建时间、修改时间、访问时间
Sep 26 #Python
如何使用Python调整图像大小
Sep 26 #Python
小白教你PyCharm从下载到安装再到科学使用PyCharm2020最新激活码
Sep 25 #Python
PyCharm2020最新激活码+激活码补丁(亲测最新版PyCharm2020.2激活成功)
Nov 25 #Python
详解Python中第三方库Faker
Sep 25 #Python
python对批量WAV音频进行等长分割的方法实现
Sep 25 #Python
python连接mysql数据库并读取数据的实现
Sep 25 #Python
You might like
php 数组的一个悲剧?
2011/05/11 PHP
PHP抓屏函数实现屏幕快照代码分享
2014/01/02 PHP
php实现window平台的checkdnsrr函数
2015/05/27 PHP
变量在 PHP7 内部的实现(二)
2015/12/21 PHP
PHP基于rabbitmq操作类的生产者和消费者功能示例
2018/06/16 PHP
PHP中的输出echo、print、printf、sprintf、print_r和var_dump的示例代码
2020/12/01 PHP
js中的window.open返回object的错误的解决方法
2009/08/15 Javascript
Jquery 设置标题的自动翻转
2009/10/03 Javascript
JavaScript 判断判断某个对象是Object还是一个Array
2010/01/28 Javascript
基于jQuery的模仿新浪微博时间的组件
2011/10/04 Javascript
JavaScript中setAttribute用法介绍
2013/07/20 Javascript
jQuery实现ichat在线客服插件
2014/12/29 Javascript
jquery简单实现带渐显效果的选项卡菜单代码
2015/09/01 Javascript
Jquery给当前页或者跳转后页面的导航栏添加选中后样式的实例
2016/12/08 Javascript
Highcharts+NodeJS搭建数据可视化平台示例
2017/01/01 NodeJs
JS利用cookies设置每隔24小时弹出框
2017/04/20 Javascript
vue js秒转天数小时分钟秒的实例代码
2018/08/08 Javascript
JS立即执行的匿名函数用法分析
2019/11/04 Javascript
JavaScript中break、continue和return的用法区别实例分析
2020/03/02 Javascript
封装 axios+promise通用请求函数操作
2020/08/11 Javascript
[46:16]2018DOTA2亚洲邀请赛3月30日 小组赛B组 iG VS VP
2018/03/31 DOTA
[45:18]2018DOTA2亚洲邀请赛 4.3 突围赛 Optic vs iG 第一场
2018/04/04 DOTA
编程语言Python的发展史
2014/09/26 Python
在Linux上安装Python的Flask框架和创建第一个app实例的教程
2015/03/30 Python
使用Python设置tmpfs来加速项目的教程
2015/04/17 Python
python读写LMDB文件的方法
2018/07/02 Python
python 实现屏幕录制示例
2019/12/23 Python
Python底层封装实现方法详解
2020/01/22 Python
最新Python idle下载、安装与使用教程图文详解
2020/11/28 Python
Canvas实现放大镜效果完整案例分析(附代码)
2020/11/26 HTML / CSS
生产部厂长助理职位说明书
2014/03/03 职场文书
学生会主席演讲稿
2014/04/25 职场文书
2014年党员自我剖析材料
2014/10/07 职场文书
2015年感恩节演讲稿(优选篇)
2015/03/20 职场文书
2015医德医风个人工作总结
2015/04/02 职场文书
深入解析NumPy中的Broadcasting广播机制
2021/05/30 Python