解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python2.7基于笛卡尔积算法实现N个数组的排列组合运算示例
Nov 23 Python
Python使用matplotlib的pie函数绘制饼状图功能示例
Jan 08 Python
python正则表达式爬取猫眼电影top100
Feb 24 Python
Python 机器学习库 NumPy入门教程
Apr 19 Python
带你认识Django
Jan 15 Python
对pandas通过索引提取dataframe的行方法详解
Feb 01 Python
Python列表(list)所有元素的同一操作解析
Aug 01 Python
浅谈anaconda python 版本对应关系
Oct 07 Python
pycharm2020.1.2永久破解激活教程,实测有效
Oct 29 Python
Python字典的基础操作
Nov 01 Python
python脚本框架webpy模板控制结构
Nov 20 Python
在NumPy中深拷贝和浅拷贝相关操作的定义和背后的原理
Apr 14 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
PHP实现的英文名字全拼随机排号脚本
2014/07/04 PHP
php广告加载类用法实例
2014/09/23 PHP
Laravel 5框架学习之数据库迁移(Migrations)
2015/04/08 PHP
Laravel中日期时间处理包Carbon的简单使用
2017/09/21 PHP
PHP关于foreach复制知识点总结
2019/01/28 PHP
Laravel框架Eloquent ORM简介、模型建立及查询数据操作详解
2019/12/04 PHP
js 程序执行与顺序实现详解
2013/05/13 Javascript
基于JQuery实现的Select级联
2014/01/27 Javascript
使用clipboard.js实现复制功能的示例代码
2017/10/16 Javascript
详解angularjs 学习之 scope作用域
2018/01/15 Javascript
修改node.js默认的npm安装目录实例
2018/05/15 Javascript
vue.js项目 el-input 组件 监听回车键实现搜索功能示例
2018/08/25 Javascript
Vue引入Stylus知识点总结
2020/01/16 Javascript
python多线程用法实例详解
2015/01/15 Python
理解python正则表达式
2016/01/15 Python
Python中使用Counter进行字典创建以及key数量统计的方法
2018/07/06 Python
Python面向对象之类和对象实例详解
2018/12/10 Python
python中aioysql(异步操作MySQL)的方法
2019/04/11 Python
python redis连接 有序集合去重的代码
2019/08/04 Python
selenium+Chrome滑动验证码破解二(某某网站)
2019/12/17 Python
Python装饰器原理与基本用法分析
2020/01/07 Python
使用TFRecord存取多个数据案例
2020/02/17 Python
UI自动化定位常用实现方法代码示例
2020/10/27 Python
10个示例带你掌握python中的元组
2020/11/23 Python
python中翻译功能translate模块实现方法
2020/12/17 Python
Python3中的tuple函数知识点讲解
2021/01/03 Python
HTML5 解析规则分析
2009/08/14 HTML / CSS
世界上最大的隐形眼镜商店:1-800 Contacts
2018/11/03 全球购物
解释一下钝化(Swap out)
2016/12/26 面试题
支部组织生活会方案
2014/06/10 职场文书
纪律教育月活动总结
2014/08/26 职场文书
个人职业生涯规划之自我评估篇
2019/09/03 职场文书
开发一个封装iframe的vue组件
2021/03/29 Vue.js
mysql 数据插入优化方法之concurrent_insert
2021/07/01 MySQL
Python OpenCV超详细讲解读取图像视频和网络摄像头
2022/04/02 Python
Java 多态分析
2022/04/26 Java/Android