Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python访问抓取网页常用命令总结
Apr 11 Python
wxPython实现窗口用图片做背景
Apr 25 Python
NLTK 3.2.4 环境搭建教程
Sep 19 Python
Python求两个圆的交点坐标或三个圆的交点坐标方法
Nov 07 Python
Python3数字求和的实例
Feb 19 Python
在Python运行时动态查看进程内部信息的方法
Feb 22 Python
Python中的random.uniform()函数教程与实例解析
Mar 02 Python
Python+Pyqt实现简单GUI电子时钟
Feb 22 Python
Pytorch 多块GPU的使用详解
Dec 31 Python
详解Python中Pyyaml模块的使用
Oct 08 Python
Python 里最强的地图绘制神器
Mar 01 Python
python3操作redis实现List列表实例
Aug 04 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
php使用iconv中文截断问题的解决方法
2015/02/11 PHP
10款PHP开源商城系统汇总介绍
2015/07/23 PHP
php 数组随机取值的简单实例
2016/05/23 PHP
PHP实现浏览器中直接输出图片的方法示例
2018/03/14 PHP
jQuery autocomplate 自扩展插件、自动完成示例代码
2011/03/28 Javascript
将字符串转换成gb2312或者utf-8编码的参数(js版)
2013/04/10 Javascript
nodejs教程 安装express及配置app.js文件的详细步骤
2013/05/11 NodeJs
JS匀速运动演示示例代码
2013/11/26 Javascript
jquery垂直公告滚动实现代码
2013/12/08 Javascript
js+div实现图片滚动效果代码
2014/02/10 Javascript
jquery form表单序列化为对象的示例代码
2014/03/05 Javascript
JavaScript lastIndexOf方法入门实例(计算指定字符在字符串中最后一次出现的位置)
2014/10/17 Javascript
JavaScript通过prototype给对象定义属性用法实例
2015/03/23 Javascript
完美实现js焦点轮播效果(二)(图片可滚动)
2017/03/07 Javascript
Vue.js render方法使用详解
2017/04/05 Javascript
JS实现图片手风琴效果
2020/04/17 Javascript
微信小程序防止多次点击跳转和防止表单组件输入内容多次验证功能(函数防抖)
2019/09/19 Javascript
Vue SSR 即时编译技术的实现
2020/05/06 Javascript
微信小程序反编译的实现
2020/12/10 Javascript
pandas 获取季度,月度,年度首尾日期的方法
2018/04/11 Python
对Python3中列表乘以某一个数的示例详解
2019/07/20 Python
Python 求数组局部最大值的实例
2019/11/26 Python
Python 装饰器原理、定义与用法详解
2019/12/07 Python
简单了解Django ORM常用字段类型及参数配置
2020/01/07 Python
django在开发中取消外键约束的实现
2020/05/20 Python
英国在线药房和在线医生:LloydsPharmacy
2019/10/21 全球购物
《三顾茅庐》教学反思
2014/04/10 职场文书
保密工作责任书
2014/04/16 职场文书
学雷锋活动总结报告
2014/06/26 职场文书
干部作风整顿自我剖析材料和整改措施
2014/09/18 职场文书
医院领导班子查摆问题对照检查材料思想汇报
2014/10/08 职场文书
2015年城市管理工作总结
2015/05/23 职场文书
2016预备党员培训心得体会
2016/01/08 职场文书
教师读书活动心得体会
2016/01/14 职场文书
python munch库的使用解析
2021/05/25 Python
Python中的嵌套循环详情
2022/03/23 Python