keras实现多GPU或指定GPU的使用介绍


Posted in Python onJune 17, 2020

1. keras新版本中加入多GPU并行使用的函数

下面程序段即可实现一个或多个GPU加速:

注意:使用多GPU加速时,Keras版本必须是Keras2.0.9以上版本

from keras.utils.training_utils import multi_gpu_model  #导入keras多GPU函数
import VGG19   #导入已经写好的函数模型,例如VGG19

if G <= 1:
  print("[INFO] training with 1 GPU...")
  model = VGG19()

# otherwise, we are compiling using multiple GPUs
else:
  print("[INFO] training with {} GPUs...".format(G))
  # we'll store a copy of the model on *every* GPU and then combine
  # the results from the gradient updates on the CPU
  with tf.device("/cpu:0"):
    # initialize the model
    model1 = VGG19()
    # make the model parallel(if you have more than 2 GPU)
    model = multi_gpu_model(model1, gpus=G)

2.指定使用某个GPU

首先在终端查看主机中GPU编号:

watch -n -9 nvidia-smi

查询结果如下所示:

keras实现多GPU或指定GPU的使用介绍

显示主机中只有一块GPU,编号为0

2.1 下面方法是直接在终端运行时加入相关语句实现指定GPU的使用

export CUDA_VISIBLE_DEVICES=0 python test.py
# 表示运行test.py文件时,使用编号为0的GPU卡
export CUDA_VISIBLE_DEVICES=0,2 python test.py
# 表示运行test.py文件时,使用编号为0和2的GPU卡

2.2 下面方法是在Python程序中添加

import os
# 使用第一张与第三张GPU卡
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2"

补充知识:踩坑记----large batch_size cause low var_acc

有时候,我们在训练模型前期,会出现很高的train_acc(训练准确率),但var_acc(验证准确率)却很低。这往往是因为我们模型在训练过程中已经进入局部最优,或者出现过拟合的现象。造成这种情况有多种原因,我只提出以下几点,有补充的可以在下面留言,我补充。

(1).训练数据分布不均匀,可能你的训练数据某一类别占据了大多数,比如95%的数据为苹果,5%的数据为其他类别,那么模型为了拟合训练数据,则模型会偏袒于把识别结果归属于苹果,而验证集的数据是正常的,那么便会出现高train_acc,低val_acc。

(2).训练数据没有shuffle,那么整个batch里面将会是同一个类别数据,比如都为苹果的图片,那么训练一个batch,那么模型输出将会往这一类别靠拢,会形成一个很高的acc的假象,但这个模型泛化能力却很低,因为这个模型都只会为了拟合这批同类的数据。

(3).训练集跟验证集的预处理不一致,这个是细节问题,输入的图片分布不一致,那么必然会影响到验证结果。

(4).模型过于复杂,造成过拟合现象,特别是在于训练数据集不多的情况下,更容易出现过拟合。

(5).这个也是最难发现的,就是过大的batch_size,造成训练前期,模型还未收敛,出现很高的train_acc,却有很低的val_acc,亲测,在120个类别,参数只有七万的分类模型中,在batch-size等于64的情况下,在第二个epoch时,train_acc达到80%,val_acc却只有6%,train_loss跟val_loss也是相差很大,而在batch_size在等于8的情况下,在第二个epoch,train_acc跟val_acc皆能达到60%,且还有上升的趋势。至于为什么,个人认为,模型在大的batch_size的情况下,模型泛化能力下降,且更难拟合,每个epoch所包含的step也更少,且在adam的优化算法,前期的学习率较高,模型出现了振荡,一直在局部最优值徘徊,具体原因不知。

接下来分析下,batc_size对模型的影响:

large batch_size:

好处:训练的更快,每一step都包含更多的训练集,模型准确率会更高,不容易受到噪声的影响,稳定性更好。

small batch_size:

好处:不容易陷入局部最优,泛化能力更强。

总结:

(1).large batch_size,虽然训练模型的训练误差会更低,但往往在execute的时候,效果却不尽人意。

(2).在时间允许的情况下,建议batch_size在32或以下。

以上这篇keras实现多GPU或指定GPU的使用介绍就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python复制目录结构脚本代码分享
Mar 06 Python
详解Python中with语句的用法
Apr 15 Python
python解析基于xml格式的日志文件
Feb 25 Python
python 全文检索引擎详解
Apr 25 Python
Python DataFrame 设置输出不显示index(索引)值的方法
Jun 07 Python
python中文编码与json中文输出问题详解
Aug 24 Python
Python 调用PIL库失败的解决方法
Jan 08 Python
Python中的异常处理try/except/finally/raise用法分析
Feb 28 Python
用python求一个数组的和与平均值的实现方法
Jun 29 Python
Opencv常见图像格式Data Type及代码实例
Nov 02 Python
Python类class参数self原理解析
Nov 19 Python
Python爬虫之用Xpath获取关键标签实现自动评论盖楼抽奖(二)
Jun 07 Python
Python字符串格式化常用手段及注意事项
Jun 17 #Python
python代码区分大小写吗
Jun 17 #Python
python代码中怎么换行
Jun 17 #Python
Python bisect模块原理及常见实例
Jun 17 #Python
浅谈keras2 predict和fit_generator的坑
Jun 17 #Python
python能在浏览器能运行吗
Jun 17 #Python
python的pip有什么用
Jun 17 #Python
You might like
php过滤敏感词的示例
2014/03/31 PHP
ThinkPHP实现带验证码的文件上传功能实例
2014/11/01 PHP
配置eAccelerator和XCache扩展来加速PHP程序的执行
2015/12/22 PHP
ThinkPHP实现生成和校验验证码功能
2017/04/28 PHP
Yii2.0实现生成二维码功能实例
2017/10/24 PHP
showModalDialog 和 showModelessDialog
2007/01/22 Javascript
修改jquery里的dialog对话框插件为框架页(iframe) 的方法
2010/09/14 Javascript
js常用代码段收集
2011/10/28 Javascript
jquery键盘事件使用介绍
2011/11/01 Javascript
js的Prototype属性解释及常用方法
2014/05/08 Javascript
JS实现简单路由器功能的方法
2015/05/27 Javascript
简单讲解AngularJS的Routing路由的定义与使用
2016/03/05 Javascript
js滚动条平滑移动示例代码
2016/03/29 Javascript
使用 stylelint检查CSS_StyleLint
2016/04/28 Javascript
jquery实现瀑布流效果 jquery下拉加载新数据
2016/12/12 Javascript
node.js的事件机制
2017/02/08 Javascript
jQuery文字轮播特效
2017/02/12 Javascript
jQuery Pagination分页插件使用方法详解
2017/02/28 Javascript
jQuery树插件zTree使用方法详解
2017/05/02 jQuery
jQuery插件imgAreaSelect基础讲解
2017/05/26 jQuery
Vue.js列表渲染绑定jQuery插件的正确姿势
2017/06/29 jQuery
详解Vue-cli代理解决跨域问题
2017/09/27 Javascript
原生JS实现留言板
2020/03/26 Javascript
Python中的Numpy入门教程
2014/04/26 Python
Python实现类的创建与使用方法示例
2017/07/25 Python
Python探索之ModelForm代码详解
2017/10/26 Python
python常用数据重复项处理方法
2019/11/22 Python
关于Python 解决Python3.9 pandas.read_excel(‘xxx.xlsx‘)报错的问题
2020/11/28 Python
X/HTML5 和 XHTML2
2008/10/17 HTML / CSS
留学推荐信中文范文三篇
2014/01/25 职场文书
信息技术教学反思
2014/02/12 职场文书
大学竞选班长演讲稿
2014/04/24 职场文书
2015教师见习期工作总结
2014/12/12 职场文书
为自己工作观后感
2015/06/11 职场文书
Python中OpenCV实现简单车牌字符切割
2021/06/11 Python
剖析后OpLog订阅MongoDB的数据变更就没那么难了
2022/02/24 MongoDB