Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 算法 排序实现快速排序
Jun 05 Python
Python切换pip安装源的方法详解
Nov 18 Python
pandas对指定列进行填充的方法
Apr 11 Python
Python的多维空数组赋值方法
Apr 13 Python
python实现人民币大写转换
Jun 20 Python
使用python绘制3维正态分布图的方法
Dec 29 Python
python django框架中使用FastDFS分布式文件系统的安装方法
Jun 10 Python
python tkinter实现屏保程序
Jul 30 Python
python yield关键词案例测试
Oct 15 Python
Tensorflow 多线程与多进程数据加载实例
Feb 05 Python
python 异步async库的使用说明
May 04 Python
python实现图片九宫格分割的示例
Apr 25 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
CI(Codeigniter)的Setting增强配置类实例
2016/01/06 PHP
PHP随机数 C扩展随机数
2016/05/04 PHP
php项目开发中用到的快速排序算法分析
2016/06/25 PHP
Aster vs KG BO3 第二场2.19
2021/03/10 DOTA
JQuery从头学起第三讲
2010/07/06 Javascript
javascript管中窥豹 形参与实参浅析
2011/12/17 Javascript
php的文件上传入门教程(实例讲解)
2014/04/10 Javascript
AngularJS指令中的绑定策略实例分析
2016/12/14 Javascript
详解nodejs微信jssdk后端接口
2017/05/25 NodeJs
Vue中封装input组件的实例详解
2017/10/17 Javascript
centos 上快速搭建ghost博客方法分享
2018/05/23 Javascript
简谈创建React Component的几种方式
2019/06/15 Javascript
微信小程序返回上一级页面的实现代码
2020/06/19 Javascript
浅谈vue 组件中的setInterval方法和window的不同
2020/07/30 Javascript
谈谈JavaScript中的垃圾回收机制
2020/09/17 Javascript
react-intl实现React国际化多语言的方法
2020/09/27 Javascript
vue 授权获取微信openId操作
2020/11/13 Javascript
实例说明Python中比较运算符的使用
2015/05/13 Python
Python编程判断一个正整数是否为素数的方法
2017/04/14 Python
python中requests使用代理proxies方法介绍
2017/10/25 Python
Python箱型图处理离群点的例子
2019/12/09 Python
PyTorch使用cpu加载模型运算方式
2020/01/13 Python
Django项目uwsgi+Nginx保姆级部署教程实现
2020/04/19 Python
Python 实现PS滤镜的旋涡特效
2020/12/03 Python
Python datetime模块的使用示例
2021/02/02 Python
日本最大的药妆连锁店:Matsukiyo松本清药妆店
2017/11/23 全球购物
亚马逊新加坡官方网站:Amazon.sg
2020/03/25 全球购物
Oracle快照(snapshot)
2015/03/13 面试题
秋季运动会广播稿大全
2014/02/17 职场文书
夫妻分居协议书范本(有子女版)
2014/11/01 职场文书
餐饮食品安全责任书
2015/01/29 职场文书
2015年助理工程师工作总结
2015/04/03 职场文书
大学生入党群众意见书
2015/06/02 职场文书
煤矿隐患排查制度
2015/08/05 职场文书
golang 语言中错误处理机制
2021/08/30 Golang
Python MNIST手写体识别详解与试练
2021/11/07 Python