Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详解Python中映射类型(字典)操作符的概念和使用
Aug 19 Python
Python 的类、继承和多态详解
Jul 16 Python
使用Python从零开始撸一个区块链
Mar 14 Python
PyQt5实现无边框窗口的标题拖动和窗口缩放
Apr 19 Python
python爬虫之模拟登陆csdn的实例代码
May 18 Python
Pandas 合并多个Dataframe(merge,concat)的方法
Jun 08 Python
python list转矩阵的实例讲解
Aug 04 Python
计算机二级python学习教程(2) python语言基本语法元素
May 16 Python
Pyinstaller 打包exe教程及问题解决
Aug 16 Python
学python需要去培训机构吗
Jul 01 Python
UI自动化定位常用实现方法代码示例
Oct 27 Python
Python实现天气查询软件
Jun 07 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
php 友好URL的实现(吐血推荐)
2008/10/04 PHP
PHP用星号隐藏部份用户名、身份证、IP、手机号等实例
2014/04/08 PHP
使用WordPress发送电子邮件的相关PHP函数用法解析
2015/12/15 PHP
CodeIgniter框架钩子机制实现方法【hooks类】
2018/08/21 PHP
javascript 限制输入和粘贴(IE,firefox测试通过)
2008/11/14 Javascript
让 JavaScript 轻松支持函数重载 (Part 2 - 实现)
2009/08/04 Javascript
Jquery+ajax请求data显示在GridView上(asp.net)
2010/08/27 Javascript
基于jquery实现漂亮的动态信息提示效果
2011/08/02 Javascript
js变量以及其作用域详解
2020/07/18 Javascript
js中的hasOwnProperty和isPrototypeOf方法使用实例
2014/06/06 Javascript
DOM 事件流详解
2015/01/20 Javascript
JavaScript实现的简单幂函数实例
2015/04/17 Javascript
js实现带缓冲效果的仿QQ面板折叠菜单代码
2015/09/06 Javascript
javascript中Number的方法小结
2016/11/21 Javascript
前端 Vue.js 和 MVVM 详细介绍
2016/12/29 Javascript
bootstrap 模态框(modal)实现水平垂直居中显示
2017/01/23 Javascript
vue element-ui 绑定@keyup事件无效的解决方法
2018/03/09 Javascript
echarts实现地图定时切换散点与多图表级联联动详解
2018/08/07 Javascript
详解vue中使用微信jssdk
2019/04/19 Javascript
基于javascript canvas实现五子棋游戏
2020/07/08 Javascript
[47:22]Mineski vs Winstrike 2018国际邀请赛小组赛BO2 第二场 8.16
2018/08/17 DOTA
python Django框架实现自定义表单提交
2016/03/25 Python
Python中属性和描述符的正确使用
2016/08/23 Python
Python 数据结构之旋转链表
2017/02/25 Python
如何使用Python的Requests包实现模拟登陆
2018/04/27 Python
python 实现登录网页的操作方法
2018/05/11 Python
pandas 小数位数 精度的处理方法
2018/06/09 Python
Python实现通过继承覆盖方法示例
2018/07/02 Python
希尔顿酒店官方网站:Hilton Hotels
2017/06/01 全球购物
智能钱包:Ekster
2019/11/21 全球购物
工程造价专业大学生职业生涯规划书
2014/01/18 职场文书
2014年领导班子专项整治整改方案
2014/09/28 职场文书
硕士论文致谢范文
2015/05/14 职场文书
公司仓库管理制度
2015/08/04 职场文书
先进个人主要事迹范文
2015/11/04 职场文书
如何在Python中妥善使用进度条详解
2022/04/05 Python