解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python写的一个文本编辑器
Jan 23 Python
详解Python如何获取列表(List)的中位数
Aug 12 Python
Python正则表达式如何进行字符串替换实例
Dec 28 Python
python+matplotlib绘制3D条形图实例代码
Jan 17 Python
python实现计数排序与桶排序实例代码
Mar 28 Python
使用Python做定时任务及时了解互联网动态
May 15 Python
python3.7 使用pymssql往sqlserver插入数据的方法
Jul 08 Python
Python求离散序列导数的示例
Jul 10 Python
关于Python3 lambda函数的深入浅出
Nov 27 Python
关于Keras模型可视化教程及关键问题的解决
Jan 24 Python
Python3实现飞机大战游戏
Apr 24 Python
解决pytorch 保存模型遇到的问题
Mar 03 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
PHP CURL模拟登录新浪微博抓取页面内容 基于EaglePHP框架开发
2012/01/16 PHP
解决Codeigniter不能上传rar和zip压缩包问题
2014/03/07 PHP
PHP中的output_buffering详细介绍
2014/09/27 PHP
php操作memcache缓存方法分享
2015/06/03 PHP
PHP实现文件上传和多文件上传
2015/12/24 PHP
PHP的Yii框架中Model模型的学习教程
2016/03/29 PHP
php 常用的系统函数
2017/02/07 PHP
Laravel 中使用 Vue.js 实现基于 Ajax 的表单提交错误验证操作
2017/06/30 PHP
Yii框架布局文件的动态切换操作示例
2019/11/11 PHP
教你如何解密js/vbs/vbscript加密的编码异处理小结
2008/06/25 Javascript
Jquery替换已存在于element上的event的方法
2010/03/09 Javascript
javascript开发随笔二 动态加载js和文件
2011/11/25 Javascript
Prototype源码浅析 Enumerable部分(二)
2012/01/18 Javascript
window.location.href IE下跳转失效的解决方法
2014/03/27 Javascript
JavaScript中getUTCMinutes()方法的使用详解
2015/06/10 Javascript
jquery实现浮动在网页右下角的彩票开奖公告窗口代码
2015/09/04 Javascript
JS实现新浪微博效果带遮罩层的弹出框代码
2015/10/12 Javascript
javascript中this关键字详解
2016/12/12 Javascript
自学实现angularjs依赖注入
2016/12/20 Javascript
Vue2.0组件间数据传递示例
2017/03/07 Javascript
Node.js 中exports 和 module.exports 的区别
2017/03/14 Javascript
深入浅析Vue不同场景下组件间的数据交流
2017/08/15 Javascript
node使用Koa2搭建web项目的方法
2017/10/17 Javascript
vue的无缝滚动组件vue-seamless-scroll实例
2017/12/18 Javascript
详解create-react-app 自定义 eslint 配置
2018/06/07 Javascript
vue 实现axios拦截、页面跳转和token 验证
2018/07/17 Javascript
vue-cli配置flexible过程详解
2019/07/04 Javascript
[42:34]VP vs VG 2018国际邀请赛小组赛BO2 第一场 8.19
2018/08/21 DOTA
H&M旗下高端女装品牌:& Other Stories
2018/05/07 全球购物
Shell编程面试题
2016/05/29 面试题
先进党支部事迹材料
2014/01/13 职场文书
《学会合作》教学反思
2014/04/12 职场文书
有限责任公司股东合作协议书
2014/12/02 职场文书
纪律委员竞选稿
2015/11/19 职场文书
高中生物教学反思
2016/02/20 职场文书
对讲机的最大通讯距离是多少
2022/02/18 无线电