Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Python的Django框架上部署ORM库的教程
Apr 20 Python
在Python的Bottle框架中使用微信API的示例
Apr 23 Python
Android模拟器无法启动,报错:Cannot set up guest memory ‘android_arm’ Invalid argument的解决方法
Jul 01 Python
pandas的唯一值、值计数以及成员资格的示例
Jul 25 Python
详解python Todo清单实战
Nov 01 Python
Python+OpenCV感兴趣区域ROI提取方法
Jan 10 Python
pycharm远程开发项目的实现步骤
Jan 20 Python
django model通过字典更新数据实例
Apr 01 Python
python实现扑克牌交互式界面发牌程序
Apr 22 Python
Django中ORM找出内容不为空的数据实例
May 20 Python
python中用Scrapy实现定时爬虫的实例讲解
Jan 18 Python
python如何修改文件时间属性
Feb 05 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
php.ini修改php上传文件大小限制的方法详解
2013/06/17 PHP
php访问数组最后一个元素的函数end()用法
2015/03/18 PHP
php实现概率性随机抽奖代码
2016/01/02 PHP
Laravel Validator 实现两个或多个字段联合索引唯一
2019/05/08 PHP
Firefox 无法获取cssRules 的解决办法
2006/10/11 Javascript
jquery入门—数据删除与隔行变色以及图片预览
2013/01/07 Javascript
Js base64 加密解密介绍
2013/10/11 Javascript
jQuery定义背景动态切换效果的方法
2015/03/23 Javascript
基于JS如何实现类似QQ好友头像hover时显示资料卡的效果(推荐)
2016/06/09 Javascript
用iframe实现不刷新整个页面上传图片的实例
2016/11/18 Javascript
JS高级运动实例分析
2016/12/20 Javascript
JS实现颜色动态淡化效果
2017/03/06 Javascript
Node.JS循环删除非空文件夹及子目录下的所有文件
2018/03/12 Javascript
详解vue-template-admin三级路由无法缓存的解决方案
2020/03/10 Javascript
js面向对象方式实现拖拽效果
2021/03/03 Javascript
Python两个内置函数 locals 和globals(学习笔记)
2016/08/28 Python
Python做文本按行去重的实现方法
2016/10/19 Python
深入理解Python中的super()方法
2017/11/20 Python
Python中max函数用于二维列表的实例
2018/04/03 Python
python实现多线程网页下载器
2018/04/15 Python
Python爬虫爬取新浪微博内容示例【基于代理IP】
2018/08/03 Python
selenium+python自动化测试之鼠标和键盘事件
2019/01/23 Python
python获取微信企业号打卡数据并生成windows计划任务
2019/04/30 Python
Python获取命令实时输出-原样彩色输出并返回输出结果的示例
2019/07/11 Python
有趣的睡衣和礼物:LazyOne
2019/11/27 全球购物
临床医学大学生求职信
2013/09/28 职场文书
会计电算化个人自我评价
2013/11/17 职场文书
自我鉴定怎么写
2014/01/12 职场文书
销售总经理岗位职责
2014/03/15 职场文书
总经理任命书
2014/03/29 职场文书
幼儿园小班评语
2014/04/18 职场文书
国旗下讲话演讲稿
2014/05/08 职场文书
2014年党员承诺书范文
2014/05/20 职场文书
医院反腐倡廉演讲稿
2014/09/16 职场文书
2014年标准化工作总结
2014/12/17 职场文书
祝酒词范文
2015/08/12 职场文书