keras实现多GPU或指定GPU的使用介绍


Posted in Python onJune 17, 2020

1. keras新版本中加入多GPU并行使用的函数

下面程序段即可实现一个或多个GPU加速:

注意:使用多GPU加速时,Keras版本必须是Keras2.0.9以上版本

from keras.utils.training_utils import multi_gpu_model  #导入keras多GPU函数
import VGG19   #导入已经写好的函数模型,例如VGG19

if G <= 1:
  print("[INFO] training with 1 GPU...")
  model = VGG19()

# otherwise, we are compiling using multiple GPUs
else:
  print("[INFO] training with {} GPUs...".format(G))
  # we'll store a copy of the model on *every* GPU and then combine
  # the results from the gradient updates on the CPU
  with tf.device("/cpu:0"):
    # initialize the model
    model1 = VGG19()
    # make the model parallel(if you have more than 2 GPU)
    model = multi_gpu_model(model1, gpus=G)

2.指定使用某个GPU

首先在终端查看主机中GPU编号:

watch -n -9 nvidia-smi

查询结果如下所示:

keras实现多GPU或指定GPU的使用介绍

显示主机中只有一块GPU,编号为0

2.1 下面方法是直接在终端运行时加入相关语句实现指定GPU的使用

export CUDA_VISIBLE_DEVICES=0 python test.py
# 表示运行test.py文件时,使用编号为0的GPU卡
export CUDA_VISIBLE_DEVICES=0,2 python test.py
# 表示运行test.py文件时,使用编号为0和2的GPU卡

2.2 下面方法是在Python程序中添加

import os
# 使用第一张与第三张GPU卡
os.environ["CUDA_VISIBLE_DEVICES"] = "0, 2"

补充知识:踩坑记----large batch_size cause low var_acc

有时候,我们在训练模型前期,会出现很高的train_acc(训练准确率),但var_acc(验证准确率)却很低。这往往是因为我们模型在训练过程中已经进入局部最优,或者出现过拟合的现象。造成这种情况有多种原因,我只提出以下几点,有补充的可以在下面留言,我补充。

(1).训练数据分布不均匀,可能你的训练数据某一类别占据了大多数,比如95%的数据为苹果,5%的数据为其他类别,那么模型为了拟合训练数据,则模型会偏袒于把识别结果归属于苹果,而验证集的数据是正常的,那么便会出现高train_acc,低val_acc。

(2).训练数据没有shuffle,那么整个batch里面将会是同一个类别数据,比如都为苹果的图片,那么训练一个batch,那么模型输出将会往这一类别靠拢,会形成一个很高的acc的假象,但这个模型泛化能力却很低,因为这个模型都只会为了拟合这批同类的数据。

(3).训练集跟验证集的预处理不一致,这个是细节问题,输入的图片分布不一致,那么必然会影响到验证结果。

(4).模型过于复杂,造成过拟合现象,特别是在于训练数据集不多的情况下,更容易出现过拟合。

(5).这个也是最难发现的,就是过大的batch_size,造成训练前期,模型还未收敛,出现很高的train_acc,却有很低的val_acc,亲测,在120个类别,参数只有七万的分类模型中,在batch-size等于64的情况下,在第二个epoch时,train_acc达到80%,val_acc却只有6%,train_loss跟val_loss也是相差很大,而在batch_size在等于8的情况下,在第二个epoch,train_acc跟val_acc皆能达到60%,且还有上升的趋势。至于为什么,个人认为,模型在大的batch_size的情况下,模型泛化能力下降,且更难拟合,每个epoch所包含的step也更少,且在adam的优化算法,前期的学习率较高,模型出现了振荡,一直在局部最优值徘徊,具体原因不知。

接下来分析下,batc_size对模型的影响:

large batch_size:

好处:训练的更快,每一step都包含更多的训练集,模型准确率会更高,不容易受到噪声的影响,稳定性更好。

small batch_size:

好处:不容易陷入局部最优,泛化能力更强。

总结:

(1).large batch_size,虽然训练模型的训练误差会更低,但往往在execute的时候,效果却不尽人意。

(2).在时间允许的情况下,建议batch_size在32或以下。

以上这篇keras实现多GPU或指定GPU的使用介绍就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
pycharm 使用心得(六)进行简单的数据库管理
Jun 06 Python
Python求两个list的差集、交集与并集的方法
Nov 01 Python
详解Python中的type()方法的使用
May 21 Python
python 写的一个爬虫程序源码
Feb 28 Python
使用matplotlib中scatter方法画散点图
Mar 19 Python
Django之使用celery和NGINX生成静态页面实现性能优化
Oct 08 Python
Pycharm创建项目时如何自动添加头部信息
Nov 14 Python
Python中BeautifuSoup库的用法使用详解
Nov 15 Python
Python+OpenCV实现将图像转换为二进制格式
Jan 09 Python
Python模拟FTP文件服务器的操作方法
Feb 18 Python
Python爬虫爬取新闻资讯案例详解
Jul 14 Python
Python之Matplotlib绘制热力图和面积图
Apr 13 Python
Python字符串格式化常用手段及注意事项
Jun 17 #Python
python代码区分大小写吗
Jun 17 #Python
python代码中怎么换行
Jun 17 #Python
Python bisect模块原理及常见实例
Jun 17 #Python
浅谈keras2 predict和fit_generator的坑
Jun 17 #Python
python能在浏览器能运行吗
Jun 17 #Python
python的pip有什么用
Jun 17 #Python
You might like
提升PHP执行速度全攻略(下)
2006/10/09 PHP
fgetcvs在linux的问题
2012/01/15 PHP
PHP生成Gif图片验证码
2013/10/27 PHP
smarty模板中使用get、post、request、cookies、session变量的方法
2014/04/24 PHP
php修改指定文件后缀的方法
2014/09/11 PHP
以实例全面讲解PHP中多进程编程的相关函数的使用
2015/08/18 PHP
PHP环境搭建的详细步骤
2016/06/30 PHP
yii2.0框架场景的简单使用示例
2020/01/25 PHP
jquery连缀语法如何实现
2012/11/29 Javascript
js中数组Array的一些常用方法总结
2013/08/12 Javascript
JavaScript将取代AppleScript?
2014/09/18 Javascript
BootStrap 智能表单实战系列(二)BootStrap支持的类型简介
2016/06/13 Javascript
利用Vue.js指令实现全选功能
2016/09/08 Javascript
bootstrap table 多选框分页保留示例代码
2017/03/08 Javascript
ES6新特性五:Set与Map的数据结构实例分析
2017/04/21 Javascript
使用淘宝镜像cnpm安装Vue.js的图文教程
2018/05/17 Javascript
vuejs 动态添加input框的实例讲解
2018/08/24 Javascript
详解如何webpack使用DllPlugin
2018/09/30 Javascript
Vue插值、表达式、分隔符、指令知识小结
2018/10/12 Javascript
bootstrap table合并行数据并居中对齐效果
2018/10/17 Javascript
Python导入txt数据到mysql的方法
2015/04/08 Python
Python面向对象class类属性及子类用法分析
2018/02/02 Python
pyqt5 实现工具栏文字图片同时显示
2019/06/13 Python
Mac安装python3的方法步骤
2019/08/09 Python
Python实现粒子群算法的示例
2021/02/14 Python
如何利用CSS3制作3D效果文字具体实现样式
2013/05/02 HTML / CSS
Nice Kicks网上商店:ShopNiceKicks.com
2018/12/25 全球购物
函数指针的定义是什么
2016/08/14 面试题
什么是动态端口(Dynamic Ports)?动态端口的范围是多少?
2014/12/12 面试题
2014自主招生自荐信策略
2014/01/27 职场文书
八一建军节活动方案
2014/02/10 职场文书
小学端午节活动方案
2014/03/13 职场文书
先进个人事迹材料范文
2014/12/30 职场文书
内勤岗位职责
2015/02/10 职场文书
什么是SOLID
2022/03/24 Javascript
Windows Server 2012 修改远程默认端口3389的方法
2022/04/28 Servers