Keras 快速解决OOM超内存的问题


Posted in Python onJune 11, 2020

如果在Keras内部多次使用同一个Model,例如在不同的数据集上训练同一个模型进而得到结果,会存在内存泄露的问题。在运行几次循环之后,就会报错OOM。

解决方法是在每个代码后面接clear_session()函数,显示的关闭TFGraph,再重启。

详情参考 https://keras.io/backend/#backend-functions。

from keras import backend as K
K.clear_session()

补充知识:Keras多次加载模型进行测试时内存溢出的解决方法

在进行实验的过程中,保存了每个epoch的模型参数文件,需要验证每个保存的模型的效果,想到直接简单粗暴的手法,就是一个循环里加载模型并进行验证,但是导致随着加载的模型越来越多,速度越来越慢。

方法如下:在每次加载模型之前,清空模型占用的内存即可。

import tensorflow as tf
from keras import backend as K
 
K.clear_session()
tf.reset_default_graph()
‘'‘加载模型位置'‘'

更多内容信息,可以参见官网介绍https://keras.io/api/utils/backend_utils/

以上这篇Keras 快速解决OOM超内存的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中字典的基础知识归纳小结
Aug 19 Python
深入解析Python中的__builtins__内建对象
Jun 21 Python
python3之微信文章爬虫实例讲解
Jul 12 Python
详解python Todo清单实战
Nov 01 Python
Python3.4学习笔记之类型判断,异常处理,终止程序操作小结
Mar 01 Python
pandas DataFrame 交集并集补集的实现
Jun 24 Python
react+django清除浏览器缓存的几种方法小结
Jul 17 Python
Python3实现个位数字和十位数字对调, 其乘积不变
May 03 Python
python selenium xpath定位操作
Sep 01 Python
用python监控服务器的cpu,磁盘空间,内存,超过邮件报警
Jan 29 Python
python生成随机数、随机字符、随机字符串
Apr 06 Python
python字符串常规操作大全
May 02 Python
python3.6.8 + pycharm + PyQt5 环境搭建的图文教程
Jun 11 #Python
使用keras实现孪生网络中的权值共享教程
Jun 11 #Python
查看keras各种网络结构各层的名字方式
Jun 11 #Python
python datetime时间格式的相互转换问题
Jun 11 #Python
完美解决keras保存好的model不能成功加载问题
Jun 11 #Python
keras load model时出现Missing Layer错误的解决方式
Jun 11 #Python
Pyinstaller加密打包应用的示例代码
Jun 11 #Python
You might like
有关JSON以及JSON在PHP中的应用
2010/04/09 PHP
如何实现php图片等比例缩放
2015/07/28 PHP
功能强大的PHP发邮件类
2016/08/29 PHP
php无限级评论嵌套实现代码
2018/04/18 PHP
PHP 裁剪图片
2021/03/09 PHP
使用jQuery动态加载js脚本文件的方法
2014/04/03 Javascript
Jquery日期选择datepicker插件用法实例分析
2015/06/08 Javascript
高效Web开发的10个jQuery代码片段
2016/07/22 Javascript
JavaScript中localStorage对象存储方式实例分析
2017/01/12 Javascript
js,jq,css多方面实现简易下拉菜单功能
2017/05/13 Javascript
Angular.js项目中使用gulp实现自动化构建以及压缩打包详解
2017/07/19 Javascript
基于vue cli重构多页面脚手架过程详解
2018/01/23 Javascript
详解Vue结合后台的列表增删改案例
2018/08/21 Javascript
JS实现判断数组是否包含某个元素示例
2019/05/24 Javascript
扫微信小程序码实现网站登陆实现解析
2019/08/20 Javascript
Layui tree 下拉菜单树的实例代码
2019/09/21 Javascript
解决VantUI popup 弹窗不弹出或无蒙层的问题
2020/11/03 Javascript
[01:00:12]2018DOTA2亚洲邀请赛 4.7 淘汰赛 VP vs LGD 第一场
2018/04/09 DOTA
在Python中利用Into包整洁地进行数据迁移的教程
2015/03/30 Python
Python中有趣在__call__函数
2015/06/21 Python
python系统指定文件的查找只输出目录下所有文件及文件夹
2020/01/19 Python
使用python把xmind转换成excel测试用例的实现代码
2020/10/12 Python
详解python的变量缓存机制
2021/01/24 Python
请说出你所知道的线程同步的方法
2013/04/19 面试题
后勤岗位职责
2013/11/26 职场文书
数控技术专科生自我评价
2014/01/08 职场文书
小学生演讲稿
2014/01/12 职场文书
金融管理毕业生求职信
2014/03/03 职场文书
工作保证书范文
2014/04/29 职场文书
公司周年庆典策划方案
2014/05/17 职场文书
承诺保证书格式
2015/02/28 职场文书
感恩节寄语2015
2015/03/24 职场文书
公司2015年终工作总结
2015/05/26 职场文书
严以修身专题学习研讨会发言材料
2015/11/09 职场文书
子女赡养老人协议书
2016/03/23 职场文书
MySQL如何修改字段类型和字段长度
2022/06/10 MySQL