粗略分析Python中的内存泄漏


Posted in Python onApril 23, 2015

引子

之前一直盲目的认为 Python 不会存在内存泄露, 但是眼看着上线的项目随着运行时间的增长 而越来越大的内存占用, 我意识到我写的程序在发生内存泄露, 之前 debug 过 logging 模块导致的内存泄露.

目前看来, 还有别的地方引起的内存泄露. 经过一天的奋战, 终于找到了内存泄露的地方, 目前项目 跑了很长时间, 在业务量较小的时候内存还是能回到刚启动的时候的内存占用.
什么情况下不用这么麻烦

如果你的程序只是跑一下就退出大可不必大费周章的去查找是否有内存泄露, 因为 Python 在退出时 会释放它所分配的所有内存, 如果你的程序需要连续跑很长时间那么就要仔细的查找是否 产生了内存泄露.
场景

如何产生的内存泄露呢, 项目是一个 TCP server, 每当有连接过来时都会创建一个连接实例来进行 管理, 每次断开时连接实例还被占用并没有释放. 没有被释放的原因肯定是因为有某个地方对连接 实例的引用没有释放, 所以随着时间的推移, 连接创建分配内存, 连接断开并没有释放掉内存, 所以 就会产生内存泄露.
调试方法

由于不知道具体是哪里引起的内存泄露, 所以要耐心的一点点调试.

由于知道了断开连接时没有释放, 所以我就不停的模拟创建连接然后发送一些包后断开连接, 然后通过下面一行 shell 来观察内存占用情况:

PID=50662;while true; do; ps aux | grep $PID | grep -v grep | awk '{print $5" "$6}' >> t; sleep 1; done

如果在增长了一定的量后保持住就说明已经没有产生泄露.

同时可以在对象该释放的时候查看对象的引用计数, 通过 sys.getrefcount(obj). 如果引用计数变为了 2 则说明该对象在跳出命名空间后就会被正确回收.
产生原因

项目中两种情况导致对象没有被正确回收:

  •     被退出才回收的对象引用
  •     交叉引用

被退出才回收的对象引用

为了追踪连接所以把连接对象同时放在一个列表里, 而这个列表只有在程序退出时才会被回收, 如果不正确处理, 那么分配的对象将也会只在程序退出时才会被回收.

全局变量和类变量都只会在程序退出的时候才会被回收:

_CONNECTIONS = []

# ...
class Connection(object):
 def __init__(self, sock, address)
  pass

def server_loop():
 # ...
 sock, address = server_sock.accept()
 connection = Connection(sock, address)
 _CONNECTIONS.append(connection)
 # ...
 sock.close()

上面把所有建立的连接都放在全局变量 _CONNECTIONS 里, 如果在关闭的时候不从这个列表 里取出(减少引用)则 connection 对象就不会被回收, 则每建立一次连接就会有个连接对象和连接 对象引用的对象不会被回收.

如果把对象放在一个类属性里也是一样的, 因为类对象在程序一开始就分配, 并在程序退出时才被回收.

解决办法就是在退出时从列表(或其他对象)里解除对对象的引用(删除)

_CONNECTIONS = []

# ...
class Connection(object):
 def __init__(self, sock, address)
  pass

def server_loop():
 # ...
 sock, address = server_sock.accept()
 connection = Connection(sock, address)
 _CONNECTIONS.append(connection)
 try:
  # ...
  sock.close()
 finally:
  _CONNECTIONS.remove(connection) # XXX

交叉引用

有时候我们为对象分配一个实例属性时需要将自己本身赋值给实例属性, 作为实例属性的实例属性, 说着很拗口, 看一下代码:

class ConnectionHandler(object):
 def __init__(self, connection):
  self._conn = connection


class Connection(object):
 def __init__(self, sock, address)
  self._conn_handler = ConnectionHandler(self) # XXX

上面的代码就会产生交叉引用, 交叉引用会让解释器困惑, 从而之后只能靠2代和3代回收, 这个过程可能会很慢.

解决这种问题的方法就是使用 弱引用

import weakref

class ConnectionHandler(object):
 def __init__(self, connection):
  self._conn = connection


class Connection(object):
 def __init__(self, sock, address)
  self._conn_handler = ConnectionHandler(weakref.proxy(self)) # XXX
Python 相关文章推荐
go和python调用其它程序并得到程序输出
Feb 10 Python
Python中集合类型(set)学习小结
Jan 28 Python
仅利用30行Python代码来展示X算法
Apr 01 Python
Python使用win32com实现的模拟浏览器功能示例
Jul 13 Python
浅谈Python中带_的变量或函数命名
Dec 04 Python
CentOS7.3编译安装Python3.6.2的方法
Jan 22 Python
Python下载网络小说实例代码
Feb 03 Python
详解Django的model查询操作与查询性能优化
Oct 16 Python
python按键按住不放持续响应的实例代码
Jul 17 Python
500行代码使用python写个微信小游戏飞机大战游戏
Oct 16 Python
Python编程快速上手——Excel表格创建乘法表案例分析
Feb 28 Python
python plt.plot bar 如何设置绘图尺寸大小
Jun 01 Python
使用beaker让Facebook的Bottle框架支持session功能
Apr 23 #Python
用Python编写脚本使IE实现代理上网的教程
Apr 23 #Python
在Python的Bottle框架中使用微信API的示例
Apr 23 #Python
最基础的Python的socket编程入门教程
Apr 23 #Python
利用Python实现简单的相似图片搜索的教程
Apr 23 #Python
以911新闻为例演示Python实现数据可视化的教程
Apr 23 #Python
Python中优化NumPy包使用性能的教程
Apr 23 #Python
You might like
PHP中路径问题的解决方案
2006/10/09 PHP
mysqli_set_charset和SET NAMES使用抉择及优劣分析
2013/01/13 PHP
微信自定义菜单的处理开发示例
2015/04/16 PHP
jQuery+Ajax+PHP“喜欢”评级功能实现代码
2015/10/08 PHP
jQuery使用手册之一
2007/03/24 Javascript
抽出www.templatemonster.com的鼠标悬停加载大图模板的代码
2007/07/11 Javascript
javascript 流畅动画实现原理
2009/09/08 Javascript
jquery 学习之一 对象访问
2010/11/23 Javascript
js固定DIV高度,超出部分自动添加滚动条的简单方法
2013/07/10 Javascript
js实现连个数字相加而不是拼接的方法
2014/02/23 Javascript
extjs每个组件要设置唯一的ID否则会出错
2014/06/15 Javascript
Javascript中的作用域和上下文深入理解
2015/07/03 Javascript
Javascript单例模式的介绍和实例
2016/10/08 Javascript
使用AngularJS 跨站请求如何解决jsonp请求问题
2017/01/16 Javascript
echart简介_动力节点Java学院整理
2017/08/11 Javascript
微信小程序之前台循环数据绑定
2017/08/18 Javascript
JSON创建键值对(key是中文或者数字)方式详解
2017/08/24 Javascript
Vue2.0+ElementUI实现表格翻页的实例
2017/10/23 Javascript
在 Node.js 中使用 async 函数的方法
2017/11/17 Javascript
React父子组件间的传值的方法
2018/11/13 Javascript
使用 Jest 和 Supertest 进行接口端点测试实例详解
2020/04/25 Javascript
[02:47]2018年度DOTA2最佳辅助位选手4号位-完美盛典
2018/12/17 DOTA
Python中的map、reduce和filter浅析
2014/04/26 Python
python查看FTP是否能连接成功的方法
2015/07/30 Python
numpy判断数值类型、过滤出数值型数据的方法
2018/06/09 Python
Python的高阶函数用法实例分析
2019/04/11 Python
python异常处理、自定义异常、断言原理与用法分析
2020/03/23 Python
解决tensorflow读取本地MNITS_data失败的原因
2020/06/22 Python
2分钟教你实现环形/扇形菜单(基础版)
2020/01/15 HTML / CSS
优秀员工自荐书
2013/12/19 职场文书
小学生安全保证书
2014/02/01 职场文书
阳光体育活动总结
2014/04/30 职场文书
超市开业庆典活动策划方案
2014/09/15 职场文书
教师党的群众路线教育实践活动个人整改措施
2014/11/04 职场文书
寻衅滋事罪辩护词
2015/05/21 职场文书
vue-cropper插件实现图片截取上传组件封装
2021/05/27 Vue.js