Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python3读取UTF-8文件及统计文件行数的方法
May 22 Python
轻量级的Web框架Flask 中模块化应用的实现
Sep 11 Python
Python 爬虫之Beautiful Soup模块使用指南
Jul 05 Python
Python pyinotify模块实现对文档的实时监控功能方法
Oct 13 Python
Python操作json的方法实例分析
Dec 06 Python
Python3.5 处理文本txt,删除不需要的行方法
Dec 10 Python
python基于SMTP协议发送邮件
May 31 Python
Python定时任务工具之APScheduler使用方式
Jul 24 Python
python实现大战外星人小游戏实例代码
Dec 26 Python
利用python实现凯撒密码加解密功能
Mar 31 Python
用python实现学生管理系统
Jul 24 Python
python Tornado框架的使用示例
Oct 19 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
php输出xml格式字符串(用的这个)
2012/07/12 PHP
浅析php数据类型转换
2014/01/09 PHP
php不使用插件导出excel的简单方法
2014/03/04 PHP
JS 继承实例分析
2008/11/04 Javascript
extjs 学习笔记(三) 最基本的grid
2009/10/15 Javascript
JavaScript包装对象使用介绍
2013/08/29 Javascript
基于javascript滚动图片具体实现
2013/11/18 Javascript
js的匿名函数使用介绍
2013/12/11 Javascript
javascript闭包传参和事件的循环绑定示例探讨
2014/04/17 Javascript
AngularJS学习笔记之TodoMVC的分析
2015/02/22 Javascript
TypeScript具有的几个不同特质
2015/04/07 Javascript
javascript三元运算符用法实例
2015/04/16 Javascript
Angular2学习笔记——详解NgModule模块
2016/12/02 Javascript
Vue+Express实现登录注销功能的实例代码
2019/05/05 Javascript
ES6 Proxy实现Vue的变化检测问题
2019/06/11 Javascript
Vue执行方法,方法获取data值,设置data值,方法传值操作
2020/08/05 Javascript
vue-admin-template配置快捷导航的代码(标签导航栏)
2020/09/04 Javascript
Javascript中的奇葩知识,你知道吗?
2021/01/25 Javascript
Python 检查数组元素是否存在类似PHP isset()方法
2014/10/14 Python
Python入门篇之字典
2014/10/17 Python
Python中用Decorator来简化元编程的教程
2015/04/13 Python
详解Python使用tensorflow入门指南
2018/02/09 Python
python爬虫获取淘宝天猫商品详细参数
2020/06/23 Python
python爬虫基本知识
2018/03/05 Python
Python Django框架模板渲染功能示例
2019/11/08 Python
pycharm 2019 最新激活方式(pycharm破解、激活)
2020/09/22 Python
Python编程快速上手——strip()函数的正则表达式实现方法分析
2020/02/29 Python
django实现更改数据库某个字段以及字段段内数据
2020/03/31 Python
通过python 执行 nohup 不生效的解决
2020/04/16 Python
关于matplotlib-legend 位置属性 loc 使用说明
2020/05/16 Python
美国在线旅行社:Crystal Travel
2018/09/11 全球购物
2014公司党员自我评价范文
2014/09/11 职场文书
供应商食品安全承诺书
2015/04/29 职场文书
教研活动主持词
2015/07/03 职场文书
致男子1500米运动员的广播稿
2019/11/08 职场文书
win10输入法不见了只能打出字母怎么解决?
2022/08/05 数码科技