Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
跟老齐学Python之做一个小游戏
Sep 28 Python
Python处理RSS、ATOM模块FEEDPARSER介绍
Feb 18 Python
Python类方法__init__和__del__构造、析构过程分析
Mar 06 Python
浅谈dataframe中更改列属性的方法
Jul 10 Python
用Python编写一个高效的端口扫描器的方法
Dec 20 Python
Python字符串和正则表达式中的反斜杠('\')问题详解
Sep 03 Python
VSCode中自动为Python文件添加头部注释
Nov 14 Python
简单了解python元组tuple相关原理
Dec 02 Python
使用python动态生成波形曲线的实现
Dec 04 Python
pytorch 模拟关系拟合——回归实例
Jan 14 Python
解决python 执行sql语句时所传参数含有单引号的问题
Jun 06 Python
Python3与fastdfs分布式文件系统如何实现交互
Jun 23 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
PHP session常见问题集锦及解决办法总结
2007/03/18 PHP
PHP从FLV文件获取视频预览图的方法
2015/03/12 PHP
Yii2超好用的日期和时间组件(值得收藏)
2016/05/05 PHP
laravel实现批量更新多条记录的方法示例
2017/10/22 PHP
Thinkphp 框架扩展之驱动扩展实例分析
2020/04/27 PHP
Valerio 发布了 Mootools
2006/09/23 Javascript
javascript 面向对象,实现namespace,class,继承,重载
2009/10/29 Javascript
调用HttpHanlder的几种返回方式小结
2013/12/20 Javascript
网站接入QQ登录的两种方法
2014/07/22 Javascript
jQuery实现平滑滚动的标签分栏切换效果
2015/08/28 Javascript
vue中axios的封装问题(简易版拦截,get,post)
2018/06/15 Javascript
Layui给数据表格动态添加一行并跳转到添加行所在页的方法
2018/08/20 Javascript
Angular5中状态管理的实现
2018/09/03 Javascript
JS/jQuery实现简单的开关灯效果【案例】
2019/02/19 jQuery
javascript异步编程的六种方式总结
2019/05/17 Javascript
Electron 调用命令行(cmd)
2019/09/23 Javascript
基于JavaScript实现轮播图效果
2021/01/02 Javascript
python和shell变量互相传递的几种方法
2013/11/20 Python
Python遍历目录的4种方法实例介绍
2015/04/13 Python
Python制作爬虫采集小说
2015/10/25 Python
python实现生成字符串大小写字母和数字的各种组合
2019/01/01 Python
Python数据预处理之数据规范化(归一化)示例
2019/01/08 Python
Django实现基于类的分页功能
2019/10/31 Python
Django使用Profile扩展User模块方式
2020/05/14 Python
python是怎么被发明的
2020/06/15 Python
CSS书写规范、顺序和命名规则
2014/03/06 HTML / CSS
CSS3实现水平居中、垂直居中、水平垂直居中的实例代码
2020/02/27 HTML / CSS
浅析canvas元素的html尺寸和css尺寸对元素视觉的影响
2019/07/22 HTML / CSS
租赁意向书范本
2014/04/01 职场文书
工伤事故赔偿协议书范文
2014/09/24 职场文书
个人四风问题对照检查材料
2014/09/26 职场文书
小学语文的各类谚语(70首)
2019/08/15 职场文书
导游词之新疆-喀纳斯
2019/10/10 职场文书
Python还能这么玩之只用30行代码从excel提取个人值班表
2021/06/05 Python
详解Vue slot插槽
2021/11/20 Vue.js
canvas 中如何实现物体的框选
2022/08/05 Javascript