解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
400多行Python代码实现了一个FTP服务器
May 10 Python
python实现RSA加密(解密)算法
Feb 17 Python
Python网络爬虫实例讲解
Apr 28 Python
解决Pandas的DataFrame输出截断和省略的问题
Feb 08 Python
python实现几种归一化方法(Normalization Method)
Jul 31 Python
Django文件存储 自己定制存储系统解析
Aug 02 Python
python实现自动化报表功能(Oracle/plsql/Excel/多线程)
Dec 02 Python
Python IDLE或shell中切换路径的操作
Mar 09 Python
PyCharm永久激活方式(推荐)
Sep 22 Python
Python中的wordcloud库安装问题及解决方法
May 27 Python
深入浅析pycharm中 Make available to all projects的含义
Sep 15 Python
python连接mongodb数据库操作数据示例
Nov 30 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
[原创]PHP中通过ADODB库实现调用Access数据库之修正版本
2006/12/31 PHP
PHP中的类型提示(type hinting)功能介绍
2015/07/01 PHP
PHP图形计数器程序显示网站用户浏览量
2016/07/20 PHP
PHP使用HTML5 FormData对象提交表单操作示例
2019/07/02 PHP
【消息提示组件】,兼容IE6/7&&FF2
2007/09/04 Javascript
JQuery实现的在新窗口打开链接的方法小结
2010/04/22 Javascript
jQueryUI的Dialog的简单封装
2010/06/07 Javascript
javascript判断用户浏览器插件安装情况的代码
2011/01/01 Javascript
判断复选框是否被选中的两种方法
2014/06/04 Javascript
js中document.write的那点事
2014/12/12 Javascript
一道JS前端闭包面试题解析
2015/12/25 Javascript
基于bootstrap插件实现autocomplete自动完成表单
2016/05/07 Javascript
纯JavaScript 实现flappy bird小游戏实例代码
2016/09/27 Javascript
基于JavaScript实现右键菜单和拖拽功能
2016/11/28 Javascript
利用Node.js对文件进行重命名
2017/03/12 Javascript
javascript 开发之百度地图使用到的js函数整理
2017/05/19 Javascript
JavaScript去掉数组重复项的方法分析【测试可用】
2018/07/19 Javascript
通过seajs实现JavaScript的模块开发及按模块加载
2019/06/06 Javascript
JavaScript实现切换多张图片
2021/01/27 Javascript
[55:03]LGD vs EG 2018国际邀请赛小组赛BO2 第二场 8.17
2018/08/18 DOTA
py2exe 编译ico图标的代码
2013/03/08 Python
python实现一次创建多级目录的方法
2015/05/15 Python
python 读取.csv文件数据到数组(矩阵)的实例讲解
2018/06/14 Python
python得到windows自启动列表的方法
2018/10/14 Python
解决使用export_graphviz可视化树报错的问题
2019/08/09 Python
Python 继承,重写,super()调用父类方法操作示例
2019/09/29 Python
关于python 的legend图例,参数使用说明
2020/04/17 Python
HTML5的结构和语义(5):内嵌媒体
2008/10/17 HTML / CSS
掌上明珠Java程序员面试总结
2016/02/23 面试题
事假请假条范文
2014/04/11 职场文书
省级优秀班集体申报材料
2014/05/25 职场文书
我的中国梦演讲稿1000字
2014/08/19 职场文书
学习保证书100字
2015/02/26 职场文书
swagger如何返回map字段注释
2021/07/03 Java/Android
vue-cli3.x配置全局的scss的时候报错问题及解决
2022/04/30 Vue.js