解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python根据距离和时长计算配速示例
Feb 16 Python
python 多线程实现检测服务器在线情况
Nov 25 Python
Python+Socket实现基于TCP协议的客户与服务端中文自动回复聊天功能示例
Aug 31 Python
python实现xlsx文件分析详解
Jan 02 Python
python 读取.csv文件数据到数组(矩阵)的实例讲解
Jun 14 Python
python 监听salt job状态,并任务数据推送到redis中的方法
Jan 14 Python
使用Python检测文章抄袭及去重算法原理解析
Jun 14 Python
tensorflow实现读取模型中保存的值 tf.train.NewCheckpointReader
Feb 10 Python
django列表筛选功能的实现代码
Mar 27 Python
Numpy 理解ndarray对象的示例代码
Apr 03 Python
使用 Python 读取电子表格中的数据实例详解
Apr 17 Python
python 一维二维插值实例
Apr 22 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
php下HTTP Response中的Chunked编码实现方法
2008/11/19 PHP
ext 列表页面关于多行查询的办法
2010/03/25 Javascript
JavaScript高级程序设计(第3版)学习笔记7 js函数(上)
2012/10/11 Javascript
js关闭父窗口时关闭子窗口
2013/04/01 Javascript
JavaScript实现多维数组的方法
2013/11/20 Javascript
JS可以控制样式的名称写法一览
2014/01/16 Javascript
jquery插件之定时查询待处理任务数量
2014/05/01 Javascript
JS中FRAME的操作问题实例分析
2014/10/21 Javascript
Javascript常用字符串判断函数代码分享
2014/12/08 Javascript
谈谈encodeURI和encodeURIComponent以及escape的区别与应用
2015/11/24 Javascript
jQuery zTree加载树形菜单功能
2016/02/25 Javascript
jQuery 获取select选中值及清除选中状态
2016/12/13 Javascript
获取url中用&隔开的参数实例(分享)
2017/05/28 Javascript
使用JavaScript实现一个小程序之99乘法表
2017/09/21 Javascript
解决Vue.js 2.0 有时双向绑定img src属性失败的问题
2018/03/14 Javascript
Vue 实现双向绑定的四种方法
2018/03/16 Javascript
vue仿淘宝滑动验证码功能(样式模仿)
2019/12/10 Javascript
微信小程序组件生命周期的踩坑记录
2021/03/03 Javascript
Python使用cookielib模块操作cookie的实例教程
2016/07/12 Python
python中WSGI是什么,Python应用WSGI详解
2017/11/24 Python
python3实现随机数
2018/06/25 Python
python networkx 包绘制复杂网络关系图的实现
2019/07/10 Python
Python学习笔记之Zip和Enumerate用法实例分析
2019/08/14 Python
PyCharm MySQL可视化Database配置过程图解
2020/06/09 Python
Python叠加矩形框图层2种方法及效果
2020/06/18 Python
C++的几个面试题附答案
2016/08/03 面试题
优秀大学生求职自荐信范文
2014/04/19 职场文书
企业管理标语
2014/06/10 职场文书
公司合作意向书范文
2014/07/30 职场文书
建设幸福中国演讲稿
2014/09/11 职场文书
暑假安全保证书
2015/02/28 职场文书
运动员入场前导词
2015/07/20 职场文书
干部考核工作总结
2015/08/12 职场文书
2016年小学生教师节广播稿
2015/12/18 职场文书
二年级数学教学反思
2016/02/16 职场文书
Python内置数据类型中的集合详解
2022/03/18 Python