Python内存泄漏和内存溢出的解决方案


Posted in Python onSeptember 26, 2020

一、内存泄漏

像Java程序一样,虽然Python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题。
对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。

1、内存泄露的原因

对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因:

  • 所用到的用 C 语言开发的底层模块中出现了内存泄露。
  • 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收
  • 代码中有“引用循环”,并且被循环引用的对象定义了__del__方法,就会发生内存泄露。

为什么循环引用的对象定义了__del__方法后collect就不起作用了呢?

gc模块最常使用的方法就是gc.collect()方法,使用collect方法对循环引用的对象进行垃圾回收。
如果我们在类中重载了__del__方法。__del__方法定义了在用del语句删除对象时除了释放内存空间以外的操作。
一般而言,在使用了del语句的时候解释器首先会看要删除对象的引用计数,如果为0,那么就释放内存并执行del方法。
在这里,首先del语句出现时本身引用计数就不为0(因为有循环引用的存在),所以解释器不释放内存;
再者,执行collect方法时应该会清除循环引用所产生的无效引用计数从而达到del的目的,对于这两个循环引用对象而言,
python无法判断调用它们的del方法时会不会要用到对方那个对象,比如在进行b.del()时可能会用到b._a也就是a,如果在那之前a已经被释放,那么就彻底GG了。
为了避免这种情况,collect方法默认不对重载了del方法的循环引用对象进行回收,而它们俩的状态也会从unreachable转变为uncollectable。由于是uncollectable的,自然就不会被collect处理,所以就进入了garbage列表。

2、内存泄露的诊断思路

无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。

3、诊断步骤

用到的工具: gc 模块和 objgraph 模块

gc模块 是Python的垃圾收集器模块,gc使用标记清除算法回收垃圾

objgraph 是一个用于诊断内存问题的工具

  • 1、 在服务程序的循环逻辑中,选择出一个诊断点
  • 2、 在诊断点,插入如下诊断语句  
import gc
import objgraph


### 强制进行垃圾回收 
gc.collect() 

### 打印出对象数目最多的 50 个类型信息 
objgraph.show_most_common_types(limit=50)

4、检查统计信息,找到异常对象

运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。

比如,排查结果可能是:
一个多线程程序,多个线程作为生产者,一个线程作为消费者,通过将一个 tuple 对象送入异步队列进行通信。
由于消费者的处理速度跟不上生产者的速度,又没有进行同步, 导致异步队列中的对象越来越多。

二、内存溢出

1、内存溢出原因

  1. 内存中加载的数据量过于庞大,如一次从数据库取出过多数据
  2. 集合类中有对对象的引用,使用完后未清空,产生了堆积,使得JVM不能回收
  3. 代码中存在死循环或循环产生过多重复的对象实体
  4. 使用的第三方软件中的BUG
  5. 启动参数内存值设定的过小

2、内存溢出的解决方案

第一步,修改JVM启动参数,直接增加内存(-Xms,-Xmx参数一定不要忘记加)

第二步,检查错误日志,查看“OutOfMemory”错误前是否有其 它异常或错误

第三步,对代码进行走查和分析,找出可能发生内存溢出的位置

重点排查以下几点:

  1. 检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
  2. 检查代码中是否有死循环或递归调用。
  3. 检查是否有大循环重复产生新对象实体。
  4. 检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。

第四步,使用内存查看工具动态查看内存使用情况

三、内存泄漏和内存溢出的区别

内存溢出是指向JVM申请内存空间时没有足够的可用内存了,就会抛出OOM即内存溢出。

内存泄漏是指,向JVM申请了一块内存空间,使用完后没有释放,由于没有释放,这块内存区域其他类加载的时候无法申请,

同时当前类又没有这块内存空间的内存地址了也无法使用,相当于丢了一块内存,这就是内存泄漏。

值得注意的是内存泄漏最终会导致内存溢出,很好理解,内存丢了很多最后当然内存不够用了。

以上就是Python内存泄漏和内存溢出的解决方案的详细内容,更多关于Python内存泄漏和内存溢出的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python学习笔记之常用函数及说明
May 23 Python
详解Python中的静态方法与类成员方法
Feb 28 Python
linecache模块加载和缓存文件内容详解
Jan 11 Python
python一键去抖音视频水印工具
Sep 14 Python
python动态进度条的实现代码
Jul 03 Python
纯python进行矩阵的相乘运算的方法示例
Jul 17 Python
python构建指数平滑预测模型示例
Nov 21 Python
Tensorflow中k.gradients()和tf.stop_gradient()用法说明
Jun 10 Python
解决Windows下python和pip命令无法使用的问题
Aug 31 Python
python输入中文的实例方法
Sep 14 Python
Python爬虫爬取有道实现翻译功能
Nov 27 Python
利用Matlab绘制各类特殊图形的实例代码
Jul 16 Python
python 两种方法修改文件的创建时间、修改时间、访问时间
Sep 26 #Python
如何使用Python调整图像大小
Sep 26 #Python
小白教你PyCharm从下载到安装再到科学使用PyCharm2020最新激活码
Sep 25 #Python
PyCharm2020最新激活码+激活码补丁(亲测最新版PyCharm2020.2激活成功)
Nov 25 #Python
详解Python中第三方库Faker
Sep 25 #Python
python对批量WAV音频进行等长分割的方法实现
Sep 25 #Python
python连接mysql数据库并读取数据的实现
Sep 25 #Python
You might like
php实现的简单压缩英文字符串的代码
2008/04/24 PHP
解析PHP跳出循环的方法以及continue、break、exit的区别介绍
2013/07/01 PHP
PHPCMS V9 添加二级导航的思路详解
2016/10/20 PHP
php生成图片缩略图功能示例
2017/02/22 PHP
PHP PDOStatement::errorInfo讲解
2019/01/31 PHP
一个基于jquery的图片切换效果
2010/07/06 Javascript
利用cookie记住背景颜色示例代码
2013/11/04 Javascript
js jquery获取当前元素的兄弟级 上一个 下一个元素
2015/09/01 Javascript
给angular加上动画效遇到的问题总结
2016/02/17 Javascript
jQuery+HTML5实现弹出创意搜索框层
2016/12/29 Javascript
Node.js学习教程之HTTP/2服务器推送【译】
2017/10/31 Javascript
简易Vue评论框架的实现(父组件的实现)
2018/01/08 Javascript
详解jQuery设置内容和属性
2019/04/11 jQuery
Vue 设置axios请求格式为form-data的操作步骤
2019/10/29 Javascript
vue中使用GraphQL的实例代码
2019/11/04 Javascript
vue实现tab栏点击高亮效果
2020/08/19 Javascript
[02:43]DOTA2亚洲邀请赛场馆攻略——带你走进东方体育中心
2018/03/19 DOTA
Python中对列表排序实例
2015/01/04 Python
Python中操作MySQL入门实例
2015/02/08 Python
Python通过PIL获取图片主要颜色并和颜色库进行对比的方法
2015/03/19 Python
以一段代码为实例快速入门Python2.7
2015/03/31 Python
Python连接DB2数据库
2016/08/27 Python
python中Matplotlib实现绘制3D图的示例代码
2017/09/04 Python
Python实现学校管理系统
2018/01/11 Python
Python pygorithm模块用法示例【常见算法测试】
2018/08/16 Python
python中class的定义及使用教程
2019/09/18 Python
利用CSS3实现文字折纸效果实例代码
2018/07/10 HTML / CSS
澳大利亚百货商店中销量第一的商务衬衫品牌:Van Heusen
2018/07/26 全球购物
家得宝墨西哥官网:The Home Depot墨西哥
2019/11/18 全球购物
行政办公室岗位职责
2014/03/18 职场文书
教师个人读书活动总结
2014/07/08 职场文书
学习教师敬业奉献模范事迹材料思想汇报
2014/09/19 职场文书
运动会通讯稿200字
2015/07/20 职场文书
Nginx图片服务器配置之后图片访问404的问题解决
2022/03/21 Servers
《群青的幻想曲》京力秋树角色PV公开
2022/04/08 日漫
MySQL批量更新不同表中的数据
2022/05/11 MySQL