解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现代码行数统计示例分享
Feb 10 Python
python中from module import * 的一个坑
Jul 20 Python
Python实现LRU算法的2种方法
Jun 24 Python
Python编程中对super函数的正确理解和用法解析
Jul 02 Python
利用Python实现Windows定时关机功能
Mar 21 Python
python微信好友数据分析详解
Nov 19 Python
代码详解django中数据库设置
Jan 28 Python
Django中的静态文件管理过程解析
Aug 01 Python
Python API自动化框架总结
Nov 12 Python
pytorch 计算ConvTranspose1d输出特征大小方式
Jun 23 Python
python中not、and和or的优先级与详细用法介绍
Nov 03 Python
Python基于template实现字符串替换
Nov 27 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
PHP下利用shell后台运行PHP脚本,并获取该脚本的Process ID的代码
2011/09/19 PHP
用来解析.htgroup文件的PHP类
2012/09/05 PHP
php function用法如何递归及return和echo区别
2014/03/07 PHP
PHP设计模式之观察者模式(Observer)详细介绍和代码实例
2014/04/08 PHP
php遍历数组的4种方法总结
2014/07/05 PHP
linux下编译安装memcached服务
2014/08/03 PHP
PHP+MySQL插入操作实例
2015/01/21 PHP
PHP5.5迭代生成器用法实例详解
2016/03/16 PHP
php打开本地exe程序,js打开本地exe应用程序,并传递相关参数方法
2018/02/06 PHP
PHP 实现base64编码文件上传出现问题详解
2020/09/01 PHP
jquery BS,dialog控件自适应大小
2009/07/06 Javascript
jquery 1.4.2发布!主要是性能与API
2010/02/25 Javascript
JSCode all of Brower 全局屏蔽网页右键功能 具体实现
2013/06/05 Javascript
javascript页面上使用动态时间具体实现
2014/03/18 Javascript
AngularJS基础 ng-disabled 指令详解及简单示例
2016/08/01 Javascript
在Docker快速部署Node.js应用的详细步骤
2016/09/02 Javascript
详解vee-validate的使用个人小结
2017/06/07 Javascript
详解如何在angular2中获取节点
2017/11/23 Javascript
vue数组对象排序的实现代码
2018/06/20 Javascript
基于vue实现滚动条滚动到指定位置对应位置数字进行tween特效
2019/04/18 Javascript
Node.js折腾记一:读指定文件夹,输出该文件夹的文件树详解
2019/04/20 Javascript
微信小游戏之使用three.js 绘制一个旋转的三角形
2019/06/10 Javascript
Python中针对函数处理的特殊方法
2014/03/06 Python
python执行外部程序的常用方法小结
2015/03/21 Python
Python3 读、写Excel文件的操作方法
2018/10/20 Python
Python实现K折交叉验证法的方法步骤
2019/07/11 Python
使用 Supervisor 监控 Python3 进程方式
2019/12/05 Python
Python CategoricalDtype自定义排序实现原理解析
2020/09/11 Python
python 如何设置守护进程
2020/10/29 Python
IE滤镜与CSS3效果(详细整理分享)
2013/01/25 HTML / CSS
GAP欧盟网上商店:GAP EU
2016/09/13 全球购物
盖尔斯工厂店:GUESS Factory
2020/01/21 全球购物
项目建议书格式
2014/03/12 职场文书
事业单位分类改革实施方案
2014/03/21 职场文书
电子表的操作介绍说明书
2019/10/28 职场文书
Python操作CSV格式文件的方法大全
2021/07/15 Python