解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python打开网页和暂停实例
Sep 30 Python
Python的ORM框架中SQLAlchemy库的查询操作的教程
Apr 25 Python
python实现爬虫统计学校BBS男女比例(一)
Dec 31 Python
Android 兼容性问题:java.lang.UnsupportedOperationException解决办法
Mar 19 Python
Python 记录日志的灵活性和可配置性介绍
Feb 27 Python
Python 给某个文件名添加时间戳的方法
Oct 16 Python
Python 中PyQt5 点击主窗口弹出另一个窗口的实现方法
Jul 04 Python
pytorch 图像中的数据预处理和批标准化实例
Jan 15 Python
Python基于pandas爬取网页表格数据
May 11 Python
python编写softmax函数、交叉熵函数实例
Jun 11 Python
python3的pip路径在哪
Jun 23 Python
经验丰富程序员才知道的8种高级Python技巧
Jul 27 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
解析php利用正则表达式解决采集内容排版的问题
2013/06/20 PHP
Apache实现Web Server负载均衡详解(不考虑Session版)
2013/07/05 PHP
php调用c接口无错版介绍
2014/03/11 PHP
php比较两个字符串长度的方法
2015/07/13 PHP
浅析Laravel5中队列的配置及使用
2016/08/04 PHP
一个符号插入器 中用到的js代码
2007/09/04 Javascript
JavaScript constructor和instanceof,JSOO中的一对欢喜冤家
2009/05/25 Javascript
JQuery Tips(4) 一些关于提高JQuery性能的Tips
2009/12/19 Javascript
js 复制或插入Html的实现方法小结
2010/05/19 Javascript
Jquery实现显示和隐藏的4种简单方式
2013/08/28 Javascript
Javascript之this关键字深入解析
2013/11/12 Javascript
一看就懂:jsonp详解
2015/06/01 Javascript
简介AngularJS的HTML DOM支持情况
2015/06/17 Javascript
Jquery全屏相册插件zoomvisualizer具有调节放大与缩小功能
2015/11/02 Javascript
Extjs实现下拉菜单效果
2016/04/01 Javascript
js实现四舍五入完全保留两位小数的方法
2016/08/02 Javascript
用js实现博客打赏功能
2016/10/24 Javascript
详解HTML5 使用video标签实现选择摄像头功能
2017/10/25 Javascript
jQuery EasyUI 折叠面板accordion的使用实例(分享)
2017/12/25 jQuery
socket io与vue-cli的结合使用的示例代码
2018/11/01 Javascript
JavaScript使用localStorage存储数据
2019/09/25 Javascript
Python os模块学习笔记
2015/06/21 Python
Python线性拟合实现函数与用法示例
2018/12/13 Python
Python实现的银行系统模拟程序完整案例
2019/04/12 Python
pytorch加载自定义网络权重的实现
2020/01/07 Python
python 实现有道翻译功能
2021/02/26 Python
详解如何通过H5(浏览器/WebView/其他)唤起本地app
2017/12/11 HTML / CSS
员工年终演讲稿
2014/01/03 职场文书
中学生2014国庆节演讲稿:不屈的民族
2014/09/21 职场文书
计划生育诚信协议书
2014/11/02 职场文书
2015年世界无车日活动总结
2015/03/23 职场文书
2016年秋季运动会加油稿
2015/12/21 职场文书
分享一些Java的常用工具
2021/06/11 Java/Android
python图片灰度化处理的几种方法
2021/06/23 Python
Python 可迭代对象 iterable的具体使用
2021/08/07 Python
浅析CSS在DevTools 中架构演变
2021/10/05 HTML / CSS