Python内存泄漏和内存溢出的解决方案


Posted in Python onSeptember 26, 2020

一、内存泄漏

像Java程序一样,虽然Python本身也有垃圾回收的功能,但是同样也会产生内存泄漏的问题。
对于一个用 python 实现的,长期运行的后台服务进程来说,如果内存持续增长,那么很可能是有了“内存泄露”。

1、内存泄露的原因

对于 python 这种支持垃圾回收的语言来说,怎么还会有内存泄露? 概括来说,有以下三种原因:

  • 所用到的用 C 语言开发的底层模块中出现了内存泄露。
  • 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收
  • 代码中有“引用循环”,并且被循环引用的对象定义了__del__方法,就会发生内存泄露。

为什么循环引用的对象定义了__del__方法后collect就不起作用了呢?

gc模块最常使用的方法就是gc.collect()方法,使用collect方法对循环引用的对象进行垃圾回收。
如果我们在类中重载了__del__方法。__del__方法定义了在用del语句删除对象时除了释放内存空间以外的操作。
一般而言,在使用了del语句的时候解释器首先会看要删除对象的引用计数,如果为0,那么就释放内存并执行del方法。
在这里,首先del语句出现时本身引用计数就不为0(因为有循环引用的存在),所以解释器不释放内存;
再者,执行collect方法时应该会清除循环引用所产生的无效引用计数从而达到del的目的,对于这两个循环引用对象而言,
python无法判断调用它们的del方法时会不会要用到对方那个对象,比如在进行b.del()时可能会用到b._a也就是a,如果在那之前a已经被释放,那么就彻底GG了。
为了避免这种情况,collect方法默认不对重载了del方法的循环引用对象进行回收,而它们俩的状态也会从unreachable转变为uncollectable。由于是uncollectable的,自然就不会被collect处理,所以就进入了garbage列表。

2、内存泄露的诊断思路

无论是哪种方式的内存泄露,最终表现的形式都是某些 python 对象在不停的增长;因此,首先是要找到这些异常的对象。

3、诊断步骤

用到的工具: gc 模块和 objgraph 模块

gc模块 是Python的垃圾收集器模块,gc使用标记清除算法回收垃圾

objgraph 是一个用于诊断内存问题的工具

  • 1、 在服务程序的循环逻辑中,选择出一个诊断点
  • 2、 在诊断点,插入如下诊断语句  
import gc
import objgraph


### 强制进行垃圾回收 
gc.collect() 

### 打印出对象数目最多的 50 个类型信息 
objgraph.show_most_common_types(limit=50)

4、检查统计信息,找到异常对象

运行加入诊断语句的服务程序,并将打印到屏幕上的统计信息重定向到日志中。运行一段时间后,就可以来分析日志,看看哪些对象在不停的增长。

比如,排查结果可能是:
一个多线程程序,多个线程作为生产者,一个线程作为消费者,通过将一个 tuple 对象送入异步队列进行通信。
由于消费者的处理速度跟不上生产者的速度,又没有进行同步, 导致异步队列中的对象越来越多。

二、内存溢出

1、内存溢出原因

  1. 内存中加载的数据量过于庞大,如一次从数据库取出过多数据
  2. 集合类中有对对象的引用,使用完后未清空,产生了堆积,使得JVM不能回收
  3. 代码中存在死循环或循环产生过多重复的对象实体
  4. 使用的第三方软件中的BUG
  5. 启动参数内存值设定的过小

2、内存溢出的解决方案

第一步,修改JVM启动参数,直接增加内存(-Xms,-Xmx参数一定不要忘记加)

第二步,检查错误日志,查看“OutOfMemory”错误前是否有其 它异常或错误

第三步,对代码进行走查和分析,找出可能发生内存溢出的位置

重点排查以下几点:

  1. 检查对数据库查询中,是否有一次获得全部数据的查询。一般来说,如果一次取十万条记录到内存,就可能引起内存溢出。这个问题比较隐蔽,在上线前,数据库中数据较少,不容易出问题,上线后,数据库中数据多了,一次查询就有可能引起内存溢出。因此对于数据库查询尽量采用分页的方式查询。
  2. 检查代码中是否有死循环或递归调用。
  3. 检查是否有大循环重复产生新对象实体。
  4. 检查List、MAP等集合对象是否有使用完后,未清除的问题。List、MAP等集合对象会始终存有对对象的引用,使得这些对象不能被GC回收。

第四步,使用内存查看工具动态查看内存使用情况

三、内存泄漏和内存溢出的区别

内存溢出是指向JVM申请内存空间时没有足够的可用内存了,就会抛出OOM即内存溢出。

内存泄漏是指,向JVM申请了一块内存空间,使用完后没有释放,由于没有释放,这块内存区域其他类加载的时候无法申请,

同时当前类又没有这块内存空间的内存地址了也无法使用,相当于丢了一块内存,这就是内存泄漏。

值得注意的是内存泄漏最终会导致内存溢出,很好理解,内存丢了很多最后当然内存不够用了。

以上就是Python内存泄漏和内存溢出的解决方案的详细内容,更多关于Python内存泄漏和内存溢出的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python入门篇之对象类型
Oct 17 Python
详解python多线程之间的同步(一)
Apr 03 Python
python中yield的用法详解——最简单,最清晰的解释
Apr 04 Python
Selenium+Python 自动化操控登录界面实例(有简单验证码图片校验)
Jun 28 Python
Python Django模板之模板过滤器与自定义模板过滤器示例
Oct 18 Python
Python Lambda函数使用总结详解
Dec 11 Python
解决jupyter notebook import error但是命令提示符import正常的问题
Apr 15 Python
Python多线程:主线程等待所有子线程结束代码
Apr 25 Python
Django之富文本(获取内容,设置内容方式)
May 21 Python
Django rest framework分页接口实现原理解析
Aug 21 Python
python+selenium 简易地疫情信息自动打卡签到功能的实现代码
Aug 22 Python
关于python中readlines函数的参数hint的相关知识总结
Jun 24 Python
python 两种方法修改文件的创建时间、修改时间、访问时间
Sep 26 #Python
如何使用Python调整图像大小
Sep 26 #Python
小白教你PyCharm从下载到安装再到科学使用PyCharm2020最新激活码
Sep 25 #Python
PyCharm2020最新激活码+激活码补丁(亲测最新版PyCharm2020.2激活成功)
Nov 25 #Python
详解Python中第三方库Faker
Sep 25 #Python
python对批量WAV音频进行等长分割的方法实现
Sep 25 #Python
python连接mysql数据库并读取数据的实现
Sep 25 #Python
You might like
ThinkPHP查询语句与关联查询用法实例
2014/11/01 PHP
PHP使用内置dir类实现目录遍历删除
2015/03/31 PHP
Yii2超好用的日期和时间组件(值得收藏)
2016/05/05 PHP
ThinkPHP5+Layui实现图片上传加预览功能
2018/08/17 PHP
ThinkPHP5.1验证码功能实现的示例代码
2020/06/08 PHP
Expandable "Detail" Table Rows
2007/08/29 Javascript
js 未结束的字符串常量错误解决方法
2010/06/13 Javascript
JS中实现replaceAll的方法(实例代码)
2013/11/12 Javascript
Linux下编译安装php libevent扩展实例
2015/02/14 Javascript
JavaScript数据结构与算法之栈详解
2015/03/12 Javascript
jQuery实现ctrl+enter(回车)提交表单
2015/10/19 Javascript
Bootstrap每天必学之进度条
2015/11/30 Javascript
JS脚本实现动态给标签控件添加事件的方法
2016/06/02 Javascript
Javascript数组循环遍历之forEach详解
2016/11/07 Javascript
JQ图片文件上传之前预览功能的简单实例(分享)
2017/11/12 Javascript
Vue波纹按钮组件制作
2018/04/30 Javascript
bootstrap 弹出框modal添加垂直方向滚轴效果
2018/07/09 Javascript
js实现固定区域内的不重叠随机圆
2019/10/24 Javascript
Element Card 卡片的具体使用
2020/07/26 Javascript
vue element实现表格合并行数据
2020/11/30 Vue.js
python在控制台输出进度条的方法
2015/06/20 Python
浅谈python迭代器
2017/11/08 Python
python的concat等多种用法详解
2018/11/28 Python
解决pyinstaller打包pyqt5的问题
2019/01/08 Python
pyqt5 comboBox获得下标、文本和事件选中函数的方法
2019/06/14 Python
Python3自定义http/https请求拦截mitmproxy脚本实例
2020/05/11 Python
python线程池 ThreadPoolExecutor 的用法示例
2020/10/10 Python
Python模块常用四种安装方式
2020/10/20 Python
阿联酋航空官方网站:Emirates
2017/10/17 全球购物
计算机网络专业推荐信
2013/11/24 职场文书
食堂个人先进事迹
2014/01/22 职场文书
2014年财务个人工作总结
2014/12/08 职场文书
歼十出击观后感
2015/06/11 职场文书
中秋晚会致辞
2015/07/31 职场文书
2016机关干部作风建设心得体会
2016/01/21 职场文书
css3中2D转换之有趣的transform形变效果
2022/02/24 HTML / CSS