Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python编写暴力破解FTP密码小工具
Nov 19 Python
python中urllib模块用法实例详解
Nov 19 Python
python使用PyGame播放Midi和Mp3文件的方法
Apr 24 Python
python获取目录下所有文件的方法
Jun 01 Python
Python基于pygame实现图片代替鼠标移动效果
Nov 11 Python
详解Python发送邮件实例
Jan 10 Python
Python 字典与字符串的互转实例
Jan 13 Python
python 计算平均平方误差(MSE)的实例
Jun 29 Python
python xlwt如何设置单元格的自定义背景颜色
Sep 03 Python
学python最电脑配置有要求么
Jul 05 Python
python 如何区分return和yield
Sep 22 Python
python基于pexpect库自动获取日志信息
Feb 01 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
php基础知识:类与对象(3) 构造函数和析构函数
2006/12/13 PHP
php实现读取手机客户端浏览器的类
2015/01/09 PHP
PHP获取毫秒级时间戳的方法
2015/04/15 PHP
eclipse php wamp配置教程
2016/06/30 PHP
Thinkphp3.2实用篇之计算型验证码示例
2017/02/09 PHP
php7函数,声明,返回值等新特性介绍
2018/05/25 PHP
innerHTML 和 getElementsByName 在IE下面的bug 的解决
2010/04/09 Javascript
jQuery带箭头提示框tooltips插件集锦
2014/11/17 Javascript
使用百度地图api实现根据地址查询经纬度
2014/12/11 Javascript
用JavaScript判断CSS浏览器类型前缀的两种方法
2015/10/08 Javascript
JavaScript 中有关数组对象的方法(详解)
2016/08/15 Javascript
Jquery EasyUI Datagrid右键菜单实现方法
2016/12/30 Javascript
Ionic2开发环境搭建教程
2020/08/20 Javascript
在页面中引入js的两种方法(推荐)
2017/08/29 Javascript
解析vue中的$mount
2017/12/21 Javascript
webpack vue项目开发环境局域网访问方法
2018/03/20 Javascript
mpvue中使用flyjs全局拦截的实现代码
2018/09/13 Javascript
jQuery实现的中英文切换功能示例
2019/01/11 jQuery
原生js+canvas实现下雪效果
2020/08/02 Javascript
解决vue 使用axios.all()方法发起多个请求控制台报错的问题
2020/11/09 Javascript
python中异常报错处理方法汇总
2016/11/20 Python
Python数据处理numpy.median的实例讲解
2018/04/02 Python
python2与python3的print及字符串格式化小结
2018/11/30 Python
关于阿里云oss获取sts凭证 app直传 python的实例
2019/08/20 Python
python实现一个函数版的名片管理系统过程解析
2019/08/27 Python
Django获取应用下的所有models的例子
2019/08/30 Python
解析pip安装第三方库但PyCharm中却无法识别的问题及PyCharm安装第三方库的方法教程
2020/03/10 Python
Python如何telnet到网络设备
2021/02/18 Python
澳大利亚最受欢迎的美发和美容在线商店:Catwalk
2018/12/12 全球购物
实现strstr功能,即在父串中寻找子串首次出现的位置
2016/08/05 面试题
《一本男孩子必读的书》教学反思
2014/02/19 职场文书
企业法人授权委托书范本
2014/09/23 职场文书
见习报告的格式
2014/11/04 职场文书
给老婆的保证书
2015/01/16 职场文书
2019财务毕业实习报告
2019/06/27 职场文书
辞职报告(范文三篇)
2019/08/27 职场文书