keras 多gpu并行运行案例


Posted in Python onJune 10, 2020

一、多张gpu的卡上使用keras

有多张gpu卡时,推荐使用tensorflow 作为后端。使用多张gpu运行model,可以分为两种情况,一是数据并行,二是设备并行。

二、数据并行

数据并行将目标模型在多个设备上各复制一份,并使用每个设备上的复制品处理整个数据集的不同部分数据。

利用multi_gpu_model实现

keras.utils.multi_gpu_model(model, gpus=None, cpu_merge=True, cpu_relocation=False)

具体来说,该功能实现了单机多 GPU 数据并行性。 它的工作原理如下:

将模型的输入分成多个子批次。

在每个子批次上应用模型副本。 每个模型副本都在专用 GPU 上执行。

将结果(在 CPU 上)连接成一个大批量。

例如, 如果你的 batch_size 是 64,且你使用 gpus=2, 那么我们将把输入分为两个 32 个样本的子批次, 在 1 个 GPU 上处理 1 个子批次,然后返回完整批次的 64 个处理过的样本。

参数

model: 一个 Keras 模型实例。为了避免OOM错误,该模型可以建立在 CPU 上, 详见下面的使用样例。

gpus: 整数 >= 2 或整数列表,创建模型副本的 GPU 数量, 或 GPU ID 的列表。

cpu_merge: 一个布尔值,用于标识是否强制合并 CPU 范围内的模型权重。

cpu_relocation: 一个布尔值,用来确定是否在 CPU 的范围内创建模型的权重。如果模型没有在任何一个设备范围内定义,您仍然可以通过激活这个选项来拯救它。

返回

一个 Keras Model 实例,它可以像初始 model 参数一样使用,但它将工作负载分布在多个 GPU 上。

例子

import tensorflow as tf
from keras.applications import Xception
from keras.utils import multi_gpu_model
import numpy as np

num_samples = 1000
height = 224
width = 224
num_classes = 1000

# 实例化基础模型(或者「模版」模型)。
# 我们推荐在 CPU 设备范围内做此操作,
# 这样模型的权重就会存储在 CPU 内存中。
# 否则它们会存储在 GPU 上,而完全被共享。
with tf.device('/cpu:0'):
 model = Xception(weights=None,
   input_shape=(height, width, 3),
   classes=num_classes)

# 复制模型到 8 个 GPU 上。
# 这假设你的机器有 8 个可用 GPU。
parallel_model = multi_gpu_model(model, gpus=8)
parallel_model.compile(loss='categorical_crossentropy',
   optimizer='rmsprop')

# 生成虚拟数据
x = np.random.random((num_samples, height, width, 3))
y = np.random.random((num_samples, num_classes))

# 这个 `fit` 调用将分布在 8 个 GPU 上。
# 由于 batch size 是 256, 每个 GPU 将处理 32 个样本。
parallel_model.fit(x, y, epochs=20, batch_size=256)

# 通过模版模型存储模型(共享相同权重):
model.save('my_model.h5')

注意:

要保存多 GPU 模型,请通过模板模型(传递给 multi_gpu_model 的参数)调用 .save(fname) 或 .save_weights(fname) 以进行存储,而不是通过 multi_gpu_model 返回的模型。

即要用model来保存,而不是parallel_model来保存。

使用ModelCheckpoint() 遇到的问题

使用ModelCheckpoint()会遇到下面的问题:

TypeError: can't pickle ...(different text at different situation) objects

这个问题和保存问题类似,ModelCheckpoint() 会自动调用parallel_model.save()来保存,而不是model.save(),因此我们要自己写一个召回函数,使得ModelCheckpoint()用model.save()。

修改方法:

class ParallelModelCheckpoint(ModelCheckpoint):
 def __init__(self,model,filepath, monitor='val_loss', verbose=0,
   save_best_only=False, save_weights_only=False,
   mode='auto', period=1):
 self.single_model = model
 super(ParallelModelCheckpoint,self).__init__(filepath, monitor, verbose,save_best_only, save_weights_only,mode, period)

 def set_model(self, model):
 super(ParallelModelCheckpoint,self).set_model(self.single_model)

checkpoint = ParallelModelCheckpoint(original_model)

ParallelModelCheckpoint调用的时候,model应该为原来的model而不是parallel_model。

EarlyStopping 没有此类问题

二、设备并行

设备并行适用于多分支结构,一个分支用一个gpu。

这种并行方法可以通过使用TensorFlow device scopes实现,下面是一个例子:

# Model where a shared LSTM is used to encode two different sequences in parallel
input_a = keras.Input(shape=(140, 256))
input_b = keras.Input(shape=(140, 256))

shared_lstm = keras.layers.LSTM(64)

# Process the first sequence on one GPU
with tf.device_scope('/gpu:0'):
 encoded_a = shared_lstm(tweet_a)
# Process the next sequence on another GPU
with tf.device_scope('/gpu:1'):
 encoded_b = shared_lstm(tweet_b)

# Concatenate results on CPU
with tf.device_scope('/cpu:0'):
 merged_vector = keras.layers.concatenate([encoded_a, encoded_b],
      axis=-1)

三、分布式运行

keras的分布式是利用TensorFlow实现的,要想完成分布式的训练,你需要将Keras注册在连接一个集群的TensorFlow会话上:

server = tf.train.Server.create_local_server()
sess = tf.Session(server.target)

from keras import backend as K
K.set_session(sess)

以上这篇keras 多gpu并行运行案例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Linux下使用python调用top命令获得CPU利用率
Mar 10 Python
详解Python中的type()方法的使用
May 21 Python
Python实现保证只能运行一个脚本实例
Jun 24 Python
python 读写txt文件 json文件的实现方法
Oct 22 Python
Python常见加密模块用法分析【MD5,sha,crypt模块】
May 24 Python
pycharm中成功运行图片的配置教程
Oct 28 Python
python隐藏终端执行cmd命令的方法
Jun 24 Python
打包python 加icon 去掉cmd黑窗口方法
Jun 24 Python
python求最大值,不使用内置函数的实现方法
Jul 09 Python
在pycharm下设置自己的个性模版方法
Jul 15 Python
在Python中利用pickle保存变量的实例
Dec 30 Python
Flask 上传自定义头像的实例详解
Jan 09 Python
Keras自定义IOU方式
Jun 10 #Python
Python实现在线批量美颜功能过程解析
Jun 10 #Python
浅谈keras中的目标函数和优化函数MSE用法
Jun 10 #Python
keras 解决加载lstm+crf模型出错的问题
Jun 10 #Python
使用Keras加载含有自定义层或函数的模型操作
Jun 10 #Python
keras 获取某层的输入/输出 tensor 尺寸操作
Jun 10 #Python
Python 字典中的所有方法及用法
Jun 10 #Python
You might like
推荐文章系统(一)
2006/10/09 PHP
解析PHPExcel使用的常用说明以及把PHPExcel整合进CI框架的介绍
2013/06/24 PHP
基于php中使用excel的简单介绍
2013/08/02 PHP
PHP获取数组中重复最多的元素的实现方法
2014/11/11 PHP
php根据用户语言跳转相应网页
2015/11/04 PHP
PHP编写学校网站上新生注册登陆程序的实例分享
2016/03/21 PHP
PHP入门教程之操作符与控制结构流程详解
2016/09/09 PHP
php模式设计之观察者模式应用实例分析
2019/09/25 PHP
myeclipse安装jQuery插件的方法
2011/03/29 Javascript
Web开发之JavaScript
2012/03/29 Javascript
jQuery中wrapAll()方法用法实例
2015/01/16 Javascript
javascript实现动态改变层大小的方法
2015/05/14 Javascript
javascript实现粘贴qq截图功能(clipboardData)
2016/05/29 Javascript
JS实现图片上传预览功能
2016/11/21 Javascript
Bootstrap组合上、下拉框简单实现代码
2017/03/06 Javascript
JavaScript实现网页头部进度条刷新
2017/04/16 Javascript
js中bool值的转换及“&&”、“||”、 “!!”详解
2017/12/21 Javascript
Windows下Node爬虫神器Puppeteer安装记
2019/01/09 Javascript
JavaScript中AOP的实现与应用
2019/05/06 Javascript
Node.js 路由的实现方法
2019/06/05 Javascript
通过vue写一个瀑布流插件代码实例
2019/09/07 Javascript
[40:12]Liquid vs Chaos 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
从零学Python之hello world
2014/05/21 Python
Python每天必学之bytes字节
2016/01/28 Python
Python装饰器模式定义与用法分析
2018/08/06 Python
Python计算库numpy进行方差/标准方差/样本标准方差/协方差的计算
2018/12/28 Python
浅谈JupyterNotebook导出pdf解决中文的问题
2020/04/22 Python
HTML5标签大全
2016/11/23 HTML / CSS
美国智能家居专家:tink
2019/06/04 全球购物
全球性的女装店:storets
2019/06/12 全球购物
播音主持女孩的自我评价分享
2013/11/20 职场文书
学校春季防火方案
2014/06/08 职场文书
地理信息科学专业推荐信
2014/09/08 职场文书
罚款通知怎么写
2015/04/22 职场文书
有关花店创业的计划书模板
2019/08/27 职场文书
Pandas搭配lambda组合使用详解
2022/01/22 Python