解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
详细讲解Python中的文件I/O操作
May 24 Python
Python使用lxml模块和Requests模块抓取HTML页面的教程
May 16 Python
python爬虫实战之爬取京东商城实例教程
Apr 24 Python
Python实现pdf文档转txt的方法示例
Jan 19 Python
python多线程同步之文件读写控制
Feb 25 Python
Python3 使用selenium插件爬取苏宁商家联系电话
Dec 23 Python
python实现贪吃蛇双人大战
Apr 18 Python
解决python pandas读取excel中多个不同sheet表格存在的问题
Jul 14 Python
tensorflow基于CNN实战mnist手写识别(小白必看)
Jul 20 Python
详解python with 上下文管理器
Sep 02 Python
Python reversed反转序列并生成可迭代对象
Oct 22 Python
如何在向量化NumPy数组上进行移动窗口
May 18 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
php下使用strpos需要注意 === 运算符
2010/07/17 PHP
如何用C语言编写PHP扩展的详解
2013/06/13 PHP
php分页函数完整实例代码
2014/09/22 PHP
ThinkPHP分页实例
2014/10/15 PHP
PHP中的switch语句的用法实例详解
2015/10/21 PHP
javascript 获取url参数和script标签中获取url参数函数代码
2010/01/22 Javascript
JavaScript栏目列表隐藏/显示简单实现
2013/04/03 Javascript
JavaScript实现计算字符串中出现次数最多的字符和出现的次数
2015/03/12 Javascript
js实现具有高亮显示效果的多级菜单代码
2015/09/01 Javascript
简单的JS时钟实例讲解
2016/01/13 Javascript
Bootstrap源码解读按钮(5)
2016/12/23 Javascript
javascript实现Emrips反质数枚举的示例代码
2017/12/06 Javascript
JS实现十字坐标跟随鼠标效果
2017/12/25 Javascript
每个 JavaScript 工程师都应懂的33个概念
2018/10/22 Javascript
Vue中JS动画与Velocity.js的结合使用
2019/02/13 Javascript
基于Taro的微信小程序模板消息-获取formId功能模块封装实践
2019/07/15 Javascript
Net微信网页开发 使用微信JS-SDK获取当前地理位置过程详解
2019/08/26 Javascript
AI小程序之语音听写来了,十分钟掌握百度大脑语音听写全攻略
2020/03/13 Javascript
vue 递归组件的简单使用示例
2021/01/14 Vue.js
解析Python中的异常处理
2015/04/28 Python
python如何实现远程控制电脑(结合微信)
2015/12/21 Python
Python的requests网络编程包使用教程
2016/07/11 Python
在python环境下运用kafka对数据进行实时传输的方法
2018/12/27 Python
解决pyinstaller打包pyqt5的问题
2019/01/08 Python
解决Tensorboard可视化错误:不显示数据 No scalar data was found
2020/02/15 Python
200行python代码实现贪吃蛇游戏
2020/04/24 Python
纯CSS3实现8组超炫酷鼠标滑过图片动画
2016/03/16 HTML / CSS
加拿大高尔夫超市:Golf Town
2018/01/12 全球购物
Hawes & Curtis官网:英国经典品牌
2019/07/27 全球购物
竞聘上岗演讲稿范文
2014/01/10 职场文书
审计局班子四风对照检查材料思想汇报
2014/10/07 职场文书
2014年纪检监察工作总结
2014/11/11 职场文书
开学季:喜迎新生,迎新标语少不了
2019/11/07 职场文书
pandas DataFrame.shift()函数的具体使用
2021/05/24 Python
MySQL系列之四 SQL语法
2021/07/02 MySQL
SpringBoot整合阿里云视频点播的过程详解
2021/12/06 Java/Android