Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python的Django框架中TEMPLATES项的设置教程
May 29 Python
十个Python程序员易犯的错误
Dec 15 Python
Python基于identicon库创建类似Github上用的头像功能
Sep 25 Python
详解用python实现简单的遗传算法
Jan 02 Python
python读取LMDB中图像的方法
Jul 02 Python
Python字符串通过'+'和join函数拼接新字符串的性能测试比较
Mar 05 Python
python使用pygame模块实现坦克大战游戏
Mar 25 Python
Python高级property属性用法实例分析
Nov 19 Python
Python多线程获取返回值代码实例
Feb 17 Python
Python decorator拦截器代码实例解析
Apr 04 Python
django queryset 去重 .distinct()说明
May 19 Python
Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法
Jul 28 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
PHP版自动生成文章摘要
2008/07/23 PHP
从零开始学YII2框架(一)通过Composer安装Yii2框架
2014/08/20 PHP
10个超级有用的PHP代码片段果断收藏
2015/09/23 PHP
解决form中action属性后面?传递参数 获取不到的问题
2017/07/21 PHP
JS 统计时间
2021/03/09 Javascript
TNC vs BOOM BO3 第一场2.13
2021/03/10 DOTA
Prototype使用指南之base.js
2007/01/10 Javascript
JavaScript实现横向滑出的多级菜单效果
2015/10/09 Javascript
KnockoutJs快速入门教程
2016/05/16 Javascript
EasyUI折叠表格层次显示detailview详解及实例
2016/12/28 Javascript
JS实现线性表的链式表示方法示例【经典数据结构】
2017/04/11 Javascript
通过构造函数实例化对象的方法
2017/06/28 Javascript
JS异步函数队列功能实例分析
2017/11/28 Javascript
js实现轮播图的完整代码
2020/10/26 Javascript
vue实现前台列表数据过滤搜索、分页效果
2019/05/28 Javascript
JavaScript中的执行环境和作用域链
2020/09/04 Javascript
[43:51]2014 DOTA2国际邀请赛中国区预选赛 Dream Times VS TongFu
2014/05/22 DOTA
python装饰器初探(推荐)
2016/07/21 Python
python3 模拟登录v2ex实例讲解
2017/07/13 Python
Python实现自动发送邮件功能
2021/03/02 Python
解决matplotlib库show()方法不显示图片的问题
2018/05/24 Python
python爬虫之urllib库常用方法用法总结大全
2018/11/14 Python
Python提取频域特征知识点浅析
2019/03/04 Python
Numpy 中的矩阵求逆实例
2019/08/26 Python
Python尾递归优化实现代码及原理详解
2020/10/09 Python
意大利综合购物网站:Giordano Shop
2016/10/21 全球购物
戴尔英国官网:Dell英国
2017/05/27 全球购物
印度在线内衣和时尚目的地:Zivame
2017/09/28 全球购物
SEPHORA丝芙兰捷克官网:购买香水、化妆品和护肤品
2018/11/26 全球购物
网络工程系信息安全技术专业大学生求职信
2013/10/22 职场文书
中专生自我鉴定范文
2013/12/19 职场文书
企业形象策划方案
2014/05/29 职场文书
2014年办公室工作总结范文
2014/11/12 职场文书
烈士陵园观后感
2015/06/08 职场文书
护士岗位竞聘书
2015/09/15 职场文书
用javascript制作qq注册动态页面
2021/04/14 Javascript