解决Keras使用GPU资源耗尽的问题


Posted in Python onJune 22, 2020

我们在使用GPU资源进行训练的时候,可能会发生资源耗尽的情况,那么在在这种情况,我们需要对GPU的资源进行合理的安排,具体使用办法如下:

框架:Tensorflow和Keras

方法

import tensorflow as tf
import keras.backend.tensorflow_backend as KTF
config = tf.ConfigProto()
config.gpu_options.allow_growth=True #不全部占满显存, 按需分配
sess = tf.Session(config=config)
KTF.set_session(sess) # 设置session

通过这种方法,就能合理的使用GPU资源了。

至少到目前位置,我自己从程序没出现资源耗尽的情况,当然,对于batchsize的设置,一定要设置在合理的范围,所谓合理,大家自己体会。

补充知识:keras使用GPU的一些坑

keras安装

conda install tensorflow-gpu

pip install keras

注意:不要使用conda安装keras,会检测依赖,默认安装上tensorflow的CPU版本。

keras运行报错,tensorflow/stream_executor/cuda/cuda_dnn.cc:329 Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR

解决方法:

增加如下代码:

gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.5)
config = tf.ConfigProto(gpu_options=gpu_options)
config.gpu_options.allow_growth = True
session = tf.Session(config=config)

以上这篇解决Keras使用GPU资源耗尽的问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中日期和时间格式化输出的方法小结
Mar 19 Python
Python多线程结合队列下载百度音乐的方法
Jul 27 Python
jupyter安装小结
Mar 13 Python
Python3中内置类型bytes和str用法及byte和string之间各种编码转换 问题
Sep 27 Python
Windows 8.1 64bit下搭建 Scrapy 0.22 环境
Nov 18 Python
Python求均值,方差,标准差的实例
Jun 29 Python
Python-numpy实现灰度图像的分块和合并方式
Jan 09 Python
Python作用域与名字空间原理详解
Mar 21 Python
解决Keras自带数据集与预训练model下载太慢问题
Jun 12 Python
Python直接赋值及深浅拷贝原理详解
Sep 05 Python
Python tkinter之ComboBox(下拉框)的使用简介
Feb 05 Python
Python开发五子棋小游戏
Apr 28 Python
Keras - GPU ID 和显存占用设定步骤
Jun 22 #Python
Python 基于jwt实现认证机制流程解析
Jun 22 #Python
python中format函数如何使用
Jun 22 #Python
Tensorflow与Keras自适应使用显存方式
Jun 22 #Python
python数据类型强制转换实例详解
Jun 22 #Python
keras 指定程序在某块卡上训练实例
Jun 22 #Python
python Socket网络编程实现C/S模式和P2P
Jun 22 #Python
You might like
用PHP调用Oracle存储过程
2006/10/09 PHP
PHP在不同页面间传递Json数据示例代码
2013/06/08 PHP
php记录代码执行时间(实现代码)
2013/07/05 PHP
PHP中mysql_field_type()函数用法
2014/11/24 PHP
PHP中each与list用法分析
2016/01/08 PHP
PHP微信红包生成代码分享
2016/10/06 PHP
PHP filter_var() 函数, 验证判断EMAIL,URL等
2021/03/09 PHP
VBScript版代码高亮
2006/06/26 Javascript
Extjs学习笔记之四 工具栏和菜单
2010/01/07 Javascript
jquery 添加节点的几种方法介绍
2013/09/04 Javascript
js检测浏览器版本、核心、是否移动端示例
2014/04/24 Javascript
js随机生成26个大小写字母
2016/02/12 Javascript
js通过keyCode值判断单击键盘上某个键,然后触发指定的事件方法
2017/02/19 Javascript
Bootstrap面板(Panels)的简单实现代码
2017/03/17 Javascript
Ionic2调用本地SQlite实例
2017/04/22 Javascript
js中less常用的方法小结
2017/08/09 Javascript
详解Vue + Vuex 如何使用 vm.$nextTick
2017/11/20 Javascript
实例解析Python设计模式编程之桥接模式的运用
2016/03/02 Python
python模块smtplib学习
2018/05/22 Python
解决tensorflow1.x版本加载saver.restore目录报错的问题
2018/07/26 Python
Python使用os.listdir()和os.walk()获取文件路径与文件下所有目录的方法
2019/04/01 Python
python飞机大战pygame碰撞检测实现方法分析
2019/12/17 Python
使用python批量转换文件编码为UTF-8的实现
2020/04/03 Python
Python matplotlib实时画图案例
2020/04/23 Python
python主要用于哪些方向
2020/07/05 Python
HTML5在线预览PDF的示例代码
2017/09/14 HTML / CSS
如何理解transaction事务的概念
2015/05/27 面试题
小学岗位竞聘方案
2014/01/22 职场文书
会议主持词
2014/03/17 职场文书
大学生实习证明范文(5篇)
2014/09/18 职场文书
湖南省召开党的群众路线教育实践活动总结大会报告
2014/10/21 职场文书
项目投资意向书范本
2015/05/09 职场文书
2015年初中教务处工作总结
2015/07/21 职场文书
在酒桌上的敬酒词
2015/08/12 职场文书
两行代码解决Jupyter Notebook中文不能显示的问题
2021/04/24 Python
SQL语句中JOIN的用法场景分析
2021/07/25 SQL Server