Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用内存zipfile对象在内存中打包文件示例
Apr 30 Python
Python中统计函数运行耗时的方法
May 05 Python
使用Python实现简单的服务器功能
Aug 25 Python
Python 实现使用dict 创建二维数据、DataFrame
Apr 13 Python
Pycharm设置去除显示的波浪线方法
Oct 28 Python
解决Django一个表单对应多个按钮的问题
Jul 18 Python
Python Django 添加首页尾页上一页下一页代码实例
Aug 21 Python
Python字节单位转换实例
Dec 05 Python
Django 再谈一谈json序列化
Mar 16 Python
Python操作Excel工作簿的示例代码(\*.xlsx)
Mar 23 Python
Django查询优化及ajax编码格式原理解析
Mar 25 Python
python代数式括号有效性检验示例代码
Oct 04 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
整合了前面的PHP数据库连接类~~做成一个分页类!
2006/11/25 PHP
ThinkPHP实现批量删除数据的代码实例
2014/07/02 PHP
简单谈谈PHP中strlen 函数
2016/02/27 PHP
thinkphp3.x自定义Action、Model及View的简单实现方法
2016/05/19 PHP
PHP命名空间定义与用法实例分析
2019/08/14 PHP
javascript 流畅动画实现原理
2009/09/08 Javascript
客户端 使用XML DOM加载json数据的方法
2010/09/28 Javascript
javascript中[]和{}对象使用介绍
2013/03/20 Javascript
jQuery动态设置form表单的enctype值(实现代码)
2013/07/04 Javascript
不使用ajax实现无刷新提交表单
2014/12/21 Javascript
浅谈Jquery为元素绑定事件
2015/04/27 Javascript
jQuery animate和CSS3相结合实现缓动追逐效果附源码下载
2016/04/18 Javascript
Javascript基础_嵌入图像的简单实现
2016/06/14 Javascript
jQuery使用each方法与for语句遍历数组示例
2016/06/16 Javascript
js调用父框架函数与弹窗调用父页面函数的简单方法
2016/11/01 Javascript
快速解决js中window.location.href不工作的问题
2016/11/02 Javascript
JS获得多个同name 的input输入框的值的实现方法
2017/01/09 Javascript
bootstrap组件之导航组件使用方法
2017/01/19 Javascript
jquery DataTable实现前后台动态分页
2017/06/17 jQuery
vue使用 better-scroll的参数和方法详解
2018/01/25 Javascript
在Vue中使用echarts的方法
2018/02/05 Javascript
开发一个Parcel-vue脚手架工具(详细步骤)
2018/09/22 Javascript
JS实现的A*寻路算法详解
2018/12/14 Javascript
PHPStorm中如何对nodejs项目进行单元测试详解
2019/02/28 NodeJs
在python中使用正则表达式查找可嵌套字符串组
2017/10/24 Python
python实现dijkstra最短路由算法
2019/01/17 Python
Python正则表达式和re库知识点总结
2019/02/11 Python
python 处理telnet返回的More,以及get想要的那个参数方法
2019/02/14 Python
Python变量访问权限控制详解
2019/06/29 Python
Python中Selenium库使用教程详解
2020/07/23 Python
pycharm 快速解决python代码冲突的问题
2021/01/15 Python
pytorch 实现L2和L1正则化regularization的操作
2021/03/03 Python
澳大利亚制造的羊皮靴:Original UGG Boots
2017/11/13 全球购物
英国最大的在线亚洲杂货店:Red Rickshaw
2020/03/22 全球购物
2014年感恩节活动策划方案
2014/10/06 职场文书
vue/cli 配置动态代理无需重启服务的方法
2022/05/20 Vue.js