解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python正则抓取新闻标题和链接的方法示例
Apr 24 Python
Python利用递归和walk()遍历目录文件的方法示例
Jul 14 Python
python通过百度地图API获取某地址的经纬度详解
Jan 28 Python
下载python中Crypto库报错:ModuleNotFoundError: No module named ‘Crypto’的解决
Apr 23 Python
python实现比较文件内容异同
Jun 22 Python
tensorflow 用矩阵运算替换for循环 用tf.tile而不写for的方法
Jul 27 Python
基于Python实现迪杰斯特拉和弗洛伊德算法
May 27 Python
python 操作mysql数据中fetchone()和fetchall()方式
May 15 Python
为什么是 Python -m
Jun 19 Python
python打包多类型文件的操作方法
Sep 21 Python
Python web框架(django,flask)实现mysql数据库读写分离的示例
Nov 18 Python
Python 中的函数装饰器和闭包详解
Feb 06 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
php zlib压缩和解压缩swf文件的代码
2008/12/30 PHP
php在文件指定行中写入代码的方法
2012/05/23 PHP
PHP实现图片压缩的两则实例
2014/07/19 PHP
PHP使用NuSOAP调用Web服务的方法
2015/07/18 PHP
document 和 document.all 分别什么时候用
2006/06/22 Javascript
驱动事件的addEvent.js代码
2007/03/27 Javascript
JS正则表达式验证数字代码
2014/01/28 Javascript
jQuery前端框架easyui使用Dialog时bug处理
2014/12/05 Javascript
jQuery过滤选择器用法分析
2015/02/10 Javascript
JavaScript常用脚本汇总(二)
2015/03/04 Javascript
JavaScript对象反射用法实例
2015/04/17 Javascript
javascript中JSON对象与JSON字符串相互转换实例
2015/07/11 Javascript
JS组件Bootstrap Select2使用方法解析
2016/05/30 Javascript
H5用户注册表单页 注册模态框!
2016/09/17 Javascript
Angular.js实现获取验证码倒计时60秒按钮的简单方法
2017/10/18 Javascript
angularjs实现柱状图动态加载的示例
2017/12/11 Javascript
nodejs log4js 使用详解
2019/05/31 NodeJs
[06:04]DOTA2国际邀请赛纪录片:Just For LGD
2013/08/11 DOTA
[02:12]探秘2016国际邀请赛中国区预选赛选手房间
2016/06/25 DOTA
Python打开文件、文件读写操作、with方式、文件常用函数实例分析
2020/01/07 Python
纯css3显示隐藏一个div特效的具体实现
2014/02/10 HTML / CSS
英国女性化妆品收纳和家具网站:Beautify
2019/12/07 全球购物
Java软件工程师综合面试题笔试题
2013/09/08 面试题
企业管理部经理岗位职责
2013/12/24 职场文书
季度思想汇报
2014/01/01 职场文书
报纸媒体创意广告词
2014/03/17 职场文书
战友聚会主持词
2014/04/02 职场文书
林肯就职演讲稿
2014/05/19 职场文书
大专生求职信
2014/06/29 职场文书
物理学专业求职信
2014/07/04 职场文书
期末考试复习计划
2015/01/19 职场文书
银行柜员工作心得体会
2016/01/23 职场文书
2016年中学植树节活动总结
2016/03/16 职场文书
python基于机器学习预测股票交易信号
2021/05/25 Python
vue中利用mqtt服务端实现即时通讯的步骤记录
2021/07/01 Vue.js
浅谈Redis的keys命令到底有多慢
2021/10/05 Redis