Pytorch 如何加速Dataloader提升数据读取速度


Posted in Python onMay 28, 2021

在利用DL解决图像问题时,影响训练效率最大的有时候是GPU,有时候也可能是CPU和你的磁盘。

很多设计不当的任务,在训练神经网络的时候,大部分时间都是在从磁盘中读取数据,而不是做 Backpropagation 。

这种症状的体现是使用 Nividia-smi 查看 GPU 使用率时,Memory-Usage 占用率很高,但是 GPU-Util 时常为 0% ,如下图所示:

Pytorch 如何加速Dataloader提升数据读取速度

如何解决这种问题呢?

在 Nvidia 提出的分布式框架 Apex 里面,我们在源码里面找到了一个简单的解决方案:

https://github.com/NVIDIA/apex/blob/f5cd5ae937f168c763985f627bbf850648ea5f3f/examples/imagenet/main_amp.py#L256 ​

class data_prefetcher():
    def __init__(self, loader):
        self.loader = iter(loader)
        self.stream = torch.cuda.Stream()
        self.mean = torch.tensor([0.485 * 255, 0.456 * 255, 0.406 * 255]).cuda().view(1,3,1,1)
        self.std = torch.tensor([0.229 * 255, 0.224 * 255, 0.225 * 255]).cuda().view(1,3,1,1)
        # With Amp, it isn't necessary to manually convert data to half.
        # if args.fp16:
        #     self.mean = self.mean.half()
        #     self.std = self.std.half()
        self.preload()

    def preload(self):
        try:
            self.next_input, self.next_target = next(self.loader)
        except StopIteration:
            self.next_input = None
            self.next_target = None
            return
        with torch.cuda.stream(self.stream):
            self.next_input = self.next_input.cuda(non_blocking=True)
            self.next_target = self.next_target.cuda(non_blocking=True)
            # With Amp, it isn't necessary to manually convert data to half.
            # if args.fp16:
            #     self.next_input = self.next_input.half()
            # else:
            self.next_input = self.next_input.float()
            self.next_input = self.next_input.sub_(self.mean).div_(self.std)

我们能看到 Nvidia 是在读取每次数据返回给网络的时候,预读取下一次迭代需要的数据,

那么对我们自己的训练代码只需要做下面的改造:

training_data_loader = DataLoader(
    dataset=train_dataset,
    num_workers=opts.threads,
    batch_size=opts.batchSize,
    pin_memory=True,
    shuffle=True,
)
for iteration, batch in enumerate(training_data_loader, 1):
    # 训练代码

#-------------升级后---------

data, label = prefetcher.next()
iteration = 0
while data is not None:
    iteration += 1
    # 训练代码
    data, label = prefetcher.next()

这样子我们的 Dataloader 就像打了鸡血一样提高了效率很多,如下图:

Pytorch 如何加速Dataloader提升数据读取速度

当然,最好的解决方案还是从硬件上,把读取速度慢的机械硬盘换成 NVME 固态吧~

补充:Pytorch设置多线程进行dataloader时影响GPU运行

使用PyTorch设置多线程(threads)进行数据读取时,其实是假的多线程,他是开了N个子进程(PID是连续的)进行模拟多线程工作。

以载入cocodataset为例

DataLoader

dataloader = torch.utils.data.DataLoader(COCODataset(config["train_path"],
                                                     (config["img_w"], config["img_h"]),
                                                     is_training=True),
                                         batch_size=config["batch_size"],
                                         shuffle=True, num_workers=32, pin_memory=True)

numworkers就是指定多少线程的参数,原为32。

检查GPU是否运行该程序

查看运行在gpu上的所有程序:

fuser -v /dev/nvidia*

如果没有返回,则该程序并没有在GPU上运行

指定GPU运行

将num_workers改成0即可

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python生成随机密码或随机字符串的方法
Jul 03 Python
利用Python如何将数据写到CSV文件中
Jun 05 Python
selenium+python实现自动化登录的方法
Sep 04 Python
详解Python 多线程 Timer定时器/延迟执行、Event事件
Jun 27 Python
python函数定义和调用过程详解
Feb 09 Python
windows10环境下用anaconda和VScode配置的图文教程
Mar 30 Python
python中逻辑与或(and、or)和按位与或异或(&、|、^)区别
Aug 05 Python
分享一个python的aes加密代码
Dec 22 Python
Python使用pyenv实现多环境管理
Feb 05 Python
Python之Sklearn使用入门教程
Feb 19 Python
Python基础之hashlib模块详解
May 06 Python
Python时间操作之pytz模块使用详解
Jun 14 Python
在前女友婚礼上,用Python破解了现场的WIFI还把名称改成了
pytorch DataLoader的num_workers参数与设置大小详解
May 28 #Python
Flask搭建一个API服务器的步骤
May 28 #Python
Python趣味挑战之给幼儿园弟弟生成1000道算术题
May 28 #Python
解决Python中的modf()函数取小数部分不准确问题
May 28 #Python
利用Python+OpenCV三步去除水印
python实现自定义日志的具体方法
May 28 #Python
You might like
php中使用cookie来保存用户登录信息的实现代码
2012/03/08 PHP
PHP header()函数使用详细(301、404等错误设置)
2013/04/17 PHP
PHP生成加减算法方式的验证码实例
2018/03/12 PHP
javascript Firefox与IE 替换节点的方法
2010/02/24 Javascript
BootStrap 图片样式、辅助类样式和CSS组件的实例详解
2017/01/20 Javascript
JQuery实现图片轮播效果
2017/05/08 jQuery
jQuery表单验证之密码确认
2017/05/22 jQuery
JavaScript在控件上添加倒计时功能的实现代码
2017/07/04 Javascript
node.js中axios使用心得总结
2017/11/29 Javascript
JavaScript时间与时间戳的转换操作实例分析
2018/12/07 Javascript
vue请求服务器数据后绑定不上的解决方法
2019/10/30 Javascript
JS Web Flex弹性盒子模型代码实例
2020/03/10 Javascript
浅谈vue单页面中有多个echarts图表时的公用代码写法
2020/07/19 Javascript
Python的多维空数组赋值方法
2018/04/13 Python
Python3中内置类型bytes和str用法及byte和string之间各种编码转换 问题
2018/09/27 Python
pycharm 在windows上编辑代码用linux执行配置的方法
2018/10/27 Python
Django获取该数据的上一条和下一条方法
2019/08/12 Python
Python Django中间件,中间件函数,全局异常处理操作示例
2019/11/08 Python
Django restframework 框架认证、权限、限流用法示例
2019/12/21 Python
浅谈python print(xx, flush = True) 全网最清晰的解释
2020/02/21 Python
在Python中用GDAL实现矢量对栅格的切割实例
2020/03/11 Python
Python读取配置文件(config.ini)以及写入配置文件
2020/04/08 Python
Python实现疫情通定时自动填写功能(附代码)
2020/05/27 Python
如何真正的了解python装饰器
2020/08/14 Python
Cpython解释器中的GIL全局解释器锁
2020/11/09 Python
CSS3的calc()做响应模式布局的实现方法
2017/09/06 HTML / CSS
Paul Smith英国官网:英国国宝级时装品牌
2019/03/21 全球购物
新闻网站实习自我鉴定
2013/09/25 职场文书
电气专业推荐信范文
2013/11/18 职场文书
拾金不昧表扬信范文
2014/01/11 职场文书
财务工作者先进事迹材料
2014/01/17 职场文书
党员廉洁自律个人总结
2015/02/13 职场文书
会议通知格式范文
2015/04/15 职场文书
大队委员竞选演讲稿
2015/11/20 职场文书
《纸船和风筝》教学反思
2016/02/18 职场文书
关于springboot配置druid数据源不生效问题(踩坑记)
2021/09/25 Java/Android