Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python Django框架实现自定义表单提交
Mar 25 Python
Python 两个列表的差集、并集和交集实现代码
Sep 21 Python
Python入门之三角函数tan()函数实例详解
Nov 08 Python
彻底搞懂Python字符编码
Jan 23 Python
python3爬取淘宝信息代码分析
Feb 10 Python
python入门教程 python入门神图一张
Mar 05 Python
Python针对给定字符串求解所有子序列是否为回文序列的方法
Apr 21 Python
python程序封装为win32服务的方法
Mar 07 Python
Pycharm远程连接服务器并实现代码同步上传更新功能
Feb 25 Python
python中使用you-get库批量在线下载bilibili视频的教程
Mar 10 Python
python复合条件下的字典排序
Dec 18 Python
用python基于appium模块开发一个自动收取能量的小助手
Sep 25 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
一个SQL管理员的web接口
2006/10/09 PHP
PHP+jquery+CSS制作头像登录窗(仿QQ登陆)
2016/10/20 PHP
使用 PHP Masked Package 屏蔽敏感数据的实现方法
2019/10/15 PHP
通过代码实例解析PHP session工作原理
2020/12/11 PHP
javascript之可拖动的iframe效果代码
2008/08/01 Javascript
细品javascript 寻址,闭包,对象模型和相关问题
2009/04/27 Javascript
在多个页面使用同一个HTML片段《续》
2011/03/04 Javascript
js实现双向链表互联网机顶盒实战应用实现
2011/10/28 Javascript
asm.js使用示例代码
2013/11/28 Javascript
Node.js中使用Log.io在浏览器中实时监控日志(等同tail -f命令)
2014/09/17 Javascript
原生javascript实现获取指定元素下所有后代元素的方法
2014/10/28 Javascript
jquery ui bootstrap 实现自定义风格
2014/11/14 Javascript
JavaScript中实现单体模式分享
2015/01/29 Javascript
JS实现点击登录弹出窗口同时背景色渐变动画效果
2016/03/25 Javascript
微信小程序 火车票查询实例讲解
2016/10/17 Javascript
AngularJS入门教程之路由机制ngRoute实例分析
2016/12/13 Javascript
jQuery插件FusionWidgets实现的Cylinder图效果示例【附demo源码】
2017/03/23 jQuery
前端路由&webpack基础配置详解
2019/06/10 Javascript
Vue + Elementui实现多标签页共存的方法
2019/06/12 Javascript
在Node.js中将SVG图像转换为PNG,JPEG,TIFF,WEBP和HEIF格式的方法
2019/08/22 Javascript
Element-ui树形控件el-tree自定义增删改和局部刷新及懒加载操作
2020/08/31 Javascript
[01:32:22]DOTA2-DPC中国联赛 正赛 Ehome vs VG BO3 第一场 2月5日
2021/03/11 DOTA
Python实现监控Nginx配置文件的不同并发送邮件报警功能示例
2019/02/26 Python
python安装numpy和pandas的方法步骤
2019/05/27 Python
PyQt Qt Designer工具的布局管理详解
2019/08/07 Python
python中matplotlib条件背景颜色的实现
2019/09/02 Python
python numpy数组复制使用实例解析
2020/01/10 Python
基于Python实现全自动下载抖音视频
2020/11/06 Python
师范生个人推荐信
2013/11/29 职场文书
《长城》教学反思
2014/02/14 职场文书
医生见习报告范文
2014/11/03 职场文书
2016暑期社会实践心得体会范文
2016/01/14 职场文书
学习心得体会
2019/06/20 职场文书
PyMongo 查询数据的实现
2021/06/28 Python
Django模型层实现多表关系创建和多表操作
2021/07/21 Python
Python自动化实战之接口请求的实现
2022/05/30 Python