Python内存泄漏和内存溢出的解决方案


Posted in Python onSeptember 26, 2020

一、内存泄漏

像Java程序一样,虽然Python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题。
对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。

1、内存泄露的原因

对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因:

  • 所用到的用 C 语言开发的底层模块中出现了内存泄露。
  • 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收
  • 代码中有“引用循环”,并且被循环引用的对象定义了__del__方法,就会发生内存泄露。

为什么循环引用的对象定义了__del__方法后collect就不起作用了呢?

gc模块最常使用的方法就是gc.collect()方法,使用collect方法对循环引用的对象进行垃圾回收。
如果我们在类中重载了__del__方法。__del__方法定义了在用del语句删除对象时除了释放内存空间以外的操作。
一般而言,在使用了del语句的时候解释器首先会看要删除对象的引用计数,如果为0,那么就释放内存并执行del方法。
在这里,首先del语句出现时本身引用计数就不为0(因为有循环引用的存在),所以解释器不释放内存;
再者,执行collect方法时应该会清除循环引用所产生的无效引用计数从而达到del的目的,对于这两个循环引用对象而言,
python无法判断调用它们的del方法时会不会要用到对方那个对象,比如在进行b.del()时可能会用到b._a也就是a,如果在那之前a已经被释放,那么就彻底GG了。
为了避免这种情况,collect方法默认不对重载了del方法的循环引用对象进行回收,而它们俩的状态也会从unreachable转变为uncollectable。由于是uncollectable的,自然就不会被collect处理,所以就进入了garbage列表。

2、内存泄露的诊断思路

无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。

3、诊断步骤

用到的工具: gc 模块和 objgraph 模块

gc模块 是Python的垃圾收集器模块,gc使用标记清除算法回收垃圾

objgraph 是一个用于诊断内存问题的工具

  • 1、 在服务程序的循环逻辑中,选择出一个诊断点
  • 2、 在诊断点,插入如下诊断语句  
import gc
import objgraph


### 强制进行垃圾回收 
gc.collect() 

### 打印出对象数目最多的 50 个类型信息 
objgraph.show_most_common_types(limit=50)

4、检查统计信息,找到异常对象

运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。

比如,排查结果可能是:
一个多线程程序,多个线程作为生产者,一个线程作为消费者,通过将一个 tuple 对象送入异步队列进行通信。
由于消费者的处理速度跟不上生产者的速度,又没有进行同步, 导致异步队列中的对象越来越多。

二、内存溢出

1、内存溢出原因

  1. 内存中加载的数据量过于庞大,如一次从数据库取出过多数据
  2. 集合类中有对对象的引用,使用完后未清空,产生了堆积,使得JVM不能回收
  3. 代码中存在死循环或循环产生过多重复的对象实体
  4. 使用的第三方软件中的BUG
  5. 启动参数内存值设定的过小

2、内存溢出的解决方案

第一步,修改JVM启动参数,直接增加内存(-Xms,-Xmx参数一定不要忘记加)

第二步,检查错误日志,查看“OutOfMemory”错误前是否有其 它异常或错误

第三步,对代码进行走查和分析,找出可能发生内存溢出的位置

重点排查以下几点:

  1. 检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
  2. 检查代码中是否有死循环或递归调用。
  3. 检查是否有大循环重复产生新对象实体。
  4. 检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。

第四步,使用内存查看工具动态查看内存使用情况

三、内存泄漏和内存溢出的区别

内存溢出是指向JVM申请内存空间时没有足够的可用内存了,就会抛出OOM即内存溢出。

内存泄漏是指,向JVM申请了一块内存空间,使用完后没有释放,由于没有释放,这块内存区域其他类加载的时候无法申请,

同时当前类又没有这块内存空间的内存地址了也无法使用,相当于丢了一块内存,这就是内存泄漏。

值得注意的是内存泄漏最终会导致内存溢出,很好理解,内存丢了很多最后当然内存不够用了。

以上就是Python内存泄漏和内存溢出的解决方案的详细内容,更多关于Python内存泄漏和内存溢出的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python实现TCP/IP协议下的端口转发及重定向示例
Jun 14 Python
Python处理Excel文件实例代码
Jun 20 Python
tensorflow saver 保存和恢复指定 tensor的实例讲解
Jul 26 Python
python 分离文件名和路径以及分离文件名和后缀的方法
Oct 21 Python
python的内存管理和垃圾回收机制详解
May 18 Python
wxPython实现列表增删改查功能
Nov 19 Python
python的slice notation的特殊用法详解
Dec 27 Python
Python利用逻辑回归分类实现模板
Feb 15 Python
python实现电子词典
Mar 03 Python
解决echarts中饼图标签重叠的问题
May 16 Python
Python tkinter实现日期选择器
Feb 22 Python
Pytorch中使用ImageFolder读取数据集时忽略特定文件
Mar 23 Python
python 两种方法修改文件的创建时间、修改时间、访问时间
Sep 26 #Python
如何使用Python调整图像大小
Sep 26 #Python
小白教你PyCharm从下载到安装再到科学使用PyCharm2020最新激活码
Sep 25 #Python
PyCharm2020最新激活码+激活码补丁(亲测最新版PyCharm2020.2激活成功)
Nov 25 #Python
详解Python中第三方库Faker
Sep 25 #Python
python对批量WAV音频进行等长分割的方法实现
Sep 25 #Python
python连接mysql数据库并读取数据的实现
Sep 25 #Python
You might like
十大“创意”战术!
2020/03/04 星际争霸
wamp下修改mysql访问密码的解决方法
2013/05/07 PHP
十大使用PHP框架的理由
2015/09/26 PHP
thinkphp3.2.3 分页代码分享
2016/07/28 PHP
laravel批量生成假数据的方法
2019/10/09 PHP
javascript实现的网页局布刷新效果
2008/12/01 Javascript
Jquery提交表单 Form.js官方插件介绍
2012/03/01 Javascript
jQuery中的$.ajax()方法应用
2014/05/06 Javascript
js,jquery滚动/跳转页面到指定位置的实现思路
2014/06/03 Javascript
javascript里绝对用的上的字符分割函数总结
2014/07/31 Javascript
node.js中的console.timeEnd方法使用说明
2014/12/09 Javascript
JavaScript中连接操作Oracle数据库实例
2015/04/02 Javascript
JavaScript中的toDateString()方法使用详解
2015/06/12 Javascript
javascript实现仿百度图片的瀑布流加载效果
2016/04/20 Javascript
jQuery表单验证插件解析(推荐)
2016/07/21 Javascript
全面解析node 表单的图片上传
2016/11/21 Javascript
原生js实现验证码功能
2017/03/16 Javascript
微信小程序url与token设置详解
2017/09/26 Javascript
vue实现重置表单信息为空的方法
2018/09/29 Javascript
vue实现自定义日期组件功能的实例代码
2018/11/06 Javascript
Vue3.0 响应式系统源码逐行分析讲解
2019/10/14 Javascript
基于pandas将类别属性转化为数值属性的方法
2018/07/25 Python
对python PLT中的image和skimage处理图片方法详解
2019/01/10 Python
Python3几个常见问题的处理方法
2019/02/26 Python
python  ceiling divide 除法向上取整(或小数向上取整)的实例
2019/12/27 Python
解决pycharm每次打开项目都需要配置解释器和安装库问题
2020/02/26 Python
HTML5之SVG 2D入门10—滤镜的定义及使用
2013/01/30 HTML / CSS
春秋航空官方网站:Spring Airlines
2017/09/27 全球购物
情侣吵架检讨书
2014/02/05 职场文书
授权委托书格式范文
2014/08/02 职场文书
房屋买卖协议样本
2014/11/16 职场文书
社区低保工作总结2015
2015/07/23 职场文书
国庆节主题班会
2015/08/15 职场文书
九年级数学教学反思
2016/02/17 职场文书
比较node.js和Deno
2021/04/27 Javascript
MySQL不使用order by实现排名的三种思路总结
2021/06/02 MySQL