对Tensorflow中Device实例的生成和管理详解


Posted in Python onFebruary 04, 2020

1. 关键术语描述

kernel

在神经网络模型中,每个node都定义了自己需要完成的操作,比如要做卷积、矩阵相乘等。

可以将kernel看做是一段能够跑在具体硬件设备上的算法程序,所以即使同样的2D卷积算法,我们有基于gpu的Convolution 2D kernel实例、基于cpu的Convolution 2D kernel实例。

device

负责运行kernel的具体硬件设备抽象。每个device实例,对应系统中一个具体的处理器硬件,比如gpu:0 device, gpu:1 device, cpu:0 device。一般来说,每个device实例同时包括处理器资源、内存资源。device的抽象支持硬件设备提供的并行处理能力。

2. device是什么

为方便描述,下面我们把在tensorflow里面运行的神经网络模型都统一称为graph。

我们知道,tensorflow主要针对的是跨硬件平台、分布式、并发运行的场景,参与运算的每个硬件资源,我们都抽象为device实例,便于管理。

device的主要职责:

管理处理器资源,为支持device内部的并行计算,进一步将其抽象为thread pool或streams:

cpu:使用thread pool来管理,thread之间可支持不同程度的并行计算能力

gpu: 针对nvidia gpu, 使用cuda streams来管理,根据不同的gpu型号,可支持不同数量的stream做并行计算

管理内存资源:为kernel的运行,分配和释放内存,进一步抽象为Allocator及其各种子类的实例来管理。

主机内存:

cpu kernel 计算时需要的内存。

gpu kernel的输出结果如果要放置到主机内存中时,gpu kernel也需要申请主机内存。

显存: gpu kernel 计算时需要的内存。

3. device的种类及应用场景

由于device要抽象的设备种类较多,我们主要描述一下本地运行的cpu device、gpu device实例类型。先用一个UML图来表示一下各种device抽象类的关系:

对Tensorflow中Device实例的生成和管理详解

可以看到,cpu device实例使用的类是GPUCompatibleCPUDevice,主要是在ThreadPoolDevice的基础上,增加了gpu<-> cpu之间内存传输数据的优化措施。

gpu device实例使用的类是 GPUDevice 。

4. device实例的关键数据结构

我们以常用的cpu device,gpu device为例, 用下图描述一下device实例的关键数据结构:

对Tensorflow中Device实例的生成和管理详解

可以看到每个device实例内部都具备并行处理的能力:

GPUCompatibleCPUDevice实例
 将 cpu 的计算资源抽象为thread pool,以支持多thread之间的并发执行;
 将主机内存抽象为 CPUAllocator 实例来进行管理,为cpu kernel、gpu kernel提供主机内存的申请、释放功能;

GPUDevice实例
 将gpu的计算资源抽象为streams, 由于目前只支持NVIDIA的gpu,所以这里我们可以看作抽象为cuda streams,多个cuda streams之间的计算可以并发处理;
 通过GPUBFCAllocator实例来管理显存,为gpu kernel提供显存的申请、释放功能。

5. device实例的创建

系统中可用的device实例,由session发起创建,归属于session实例。

device的创建,使用Factory 设计模式,session会调用所有注册的device factory,逐一产出 符合条件的device实例。

以DirectSession实例创建gpu device、cpu device为例,具体流程如下图所示。

为方便结合代码阅读,已包含主要的类、函数调用路径:

对Tensorflow中Device实例的生成和管理详解

可以看到,最终产出 的gpu device、cpu device实例,都会保存至DirectSession实例的 devices_ 表中,由DirectSession实例进行分配和使用。

6. 在graph运行阶段device的使用

在graph的创建阶段,session为每个node分配一个具体的device实例,同时为每个node创建一个具体的kernel实例,这个kernel实例将会运行在分配的device实例上。(参见Tensorflow 核心流程剖析 2 ? 神经网络模型的创建和分割)

接下来,在graph的运行阶段,session会依次处理graph中的node,调度node所分配的device实例,去运行node的kernel实例。

每个kernel 在运行时,会向其分配的device,申请需要的计算资源、内存资源等,完成具体的运算操作。

上述流程如下图所示。

为方便结合代码阅读,已包含主要的类、函数调用路径:

对Tensorflow中Device实例的生成和管理详解

以上这篇对Tensorflow中Device实例的生成和管理详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python三级菜单的实例
Sep 13 Python
快速解决PyCharm无法引用matplotlib的问题
May 24 Python
Python3按一定数据位数格式处理bin文件的方法
Jan 24 Python
Python3实现的反转单链表算法示例
Mar 08 Python
python实现自动化上线脚本的示例
Jul 01 Python
在cmd中查看python的安装路径方法
Jul 03 Python
对Python中画图时候的线类型详解
Jul 07 Python
django 外键创建注意事项说明
May 20 Python
Win10下用Anaconda安装TensorFlow(图文教程)
Jun 18 Python
在django中查询获取数据,get, filter,all(),values()操作
Aug 09 Python
pycharm实现猜数游戏
Dec 07 Python
Python控制台输出俄罗斯方块的方法实例
Apr 17 Python
关于windows下Tensorflow和pytorch安装教程
Feb 04 #Python
django3.02模板中的超链接配置实例代码
Feb 04 #Python
tensorflow自定义激活函数实例
Feb 04 #Python
pytorch对梯度进行可视化进行梯度检查教程
Feb 04 #Python
pytorch梯度剪裁方式
Feb 04 #Python
基于梯度爆炸的解决方法:clip gradient
Feb 04 #Python
Python 格式化输出_String Formatting_控制小数点位数的实例详解
Feb 04 #Python
You might like
PHP+MySQL 手工注入语句大全 推荐
2009/10/30 PHP
php array_map()数组函数使用说明
2011/07/12 PHP
PHP对MongoDB[NoSQL]数据库的操作
2013/03/01 PHP
PHP实现的超长文本分页显示功能示例
2018/06/04 PHP
PHP两个n位的二进制整数相加问题的解决
2018/08/26 PHP
自定义Laravel (monolog)日志位置,并增加请求ID的实现
2019/10/17 PHP
jquery中的sortable排序之后的保存状态的解决方法
2010/01/28 Javascript
JQuery Dialog(JS 模态窗口,可拖拽的DIV)
2010/02/07 Javascript
js读取被点击次数的简单实例(从数据库中读取)
2014/03/07 Javascript
jQuery电话号码验证实例
2017/01/05 Javascript
微信小程序左滑删除效果的实现代码
2017/02/20 Javascript
详解vue.js的devtools安装
2017/05/26 Javascript
Nodejs回调加超时限制两种实现方法
2017/06/09 NodeJs
React学习笔记之条件渲染(一)
2017/07/02 Javascript
JS时间控制实现动态效果的实例讲解
2017/07/31 Javascript
Vue 实现树形视图数据功能
2018/05/07 Javascript
vux uploader 图片上传组件的安装使用方法
2018/05/15 Javascript
node之本地服务器图片上传的方法示例
2019/03/26 Javascript
JavaScript事件冒泡机制原理实例解析
2020/01/14 Javascript
JS脚本实现定时到网站上签到/签退功能
2020/04/22 Javascript
javascript实现贪吃蛇小游戏
2020/07/28 Javascript
[14:19]2018年度COSER大赛-完美盛典
2018/12/16 DOTA
[52:12]FNATIC vs Infamous 2019国际邀请赛小组赛 BO2 第一场 8.16
2019/08/19 DOTA
[01:14:41]DOTA2-DPC中国联赛定级赛 iG vs Magma BO3第一场 1月8日
2021/03/11 DOTA
Python3生成手写体数字方法
2018/01/30 Python
django中静态文件配置static的方法
2018/05/20 Python
python判断无向图环是否存在的示例
2019/11/22 Python
python计算导数并绘图的实例
2020/02/29 Python
Django-xadmin+rule对象级权限的实现方式
2020/03/30 Python
HTML5+Canvas+CSS3实现齐天大圣孙悟空腾云驾雾效果
2016/04/26 HTML / CSS
毕业生自我推荐
2013/11/04 职场文书
小学生美德少年事迹
2014/02/02 职场文书
大课间活动实施方案
2014/03/06 职场文书
怎样写好演讲稿题目?
2019/08/21 职场文书
分析mysql中一条SQL查询语句是如何执行的
2021/06/21 MySQL
Python实现对齐打印 format函数的用法
2022/04/28 Python