pytorch锁死在dataloader(训练时卡死)


Posted in Python onMay 28, 2021

1.问题描述

pytorch锁死在dataloader(训练时卡死)

2.解决方案

(1)Dataloader里面不用cv2.imread进行读取图片,用cv2.imread还会带来一系列的不方便,比如不能结合torchvision进行数据增强,所以最好用PIL 里面的Image.open来读图片。(并不适用本例)

(2)将DataLoader 里面的参变量num_workers设置为0,但会导致数据的读取很慢,拖慢整个模型的训练。(并不适用本例)

(3)如果用了cv2.imread,不想改代码的,那就加两条语句,来关闭Opencv的多线程:cv2.setNumThreads(0)和cv2.ocl.setUseOpenCL(False)。加了这两条语句之后,并不影响模型的训练。(并不适用本例)

(4)这种情况应该是属于pytorch多线程锁死,在github上看到有该问题,但是没有解决的。

参考建议

首先确保num_works数量低于CPU数量(如果使用Kubernetes,则设置为pod),但是设置得足够高,使数据随时可以用于下一次迭代。

如果GPU在t秒内运行每个迭代,而每个dataloader worker加载/处理单个批处理需要N*t秒,那么您应该将num_workers设置为至少N,以避免GPU停滞。当然,系统中至少要有N个cpu。

不幸的是,如果Dataloader使用任何使用K个线程的库,那么生成的进程数量就会变成num_workersK = NK。这可能比计算机中的cpu数量大得多。这会使pod节流,而Dataloader会变得非常慢。这可能导致Dataloader不返回批处理每t秒,导致GPU暂停。

避免K个线程的一种方法是通过OMP_NUM_THREADS=1 MKL_NUM_THREADS=1 python train.py调用主脚本。这就限制了每个Dataloader工作程序只能使用一个线程,从而避免了使机器不堪重负。你仍然需要有足够的num_workers来满足GPU的需要。

您还应该在_get_item__中优化您的代码,以便每个worker在较短的时间内完成其批处理。请确保worker完成批处理的时间不受从磁盘读取训练数据的时间(特别是当您从网络存储中读取数据时)或网络带宽(当您从网络磁盘读取数据时)的影响。如果您的数据集很小,并且您有足够的RAM,那么可以考虑将数据集移动到RAM(或/tmpfs)中,并从那里读取数据以进行快速访问。对于Kubernetes,您可以创建一个RAM磁盘(在Kubernetes中搜索emptyDir)。

如果你已经优化了你的_get_item__代码,并确保磁盘访问/网络访问不是罪魁祸首,但仍然会出现问题,你将需要请求更多的cpu(为了一个Kubernetes pod),或者将你的GPU移动到拥有更多cpu的机器上。

另一个选项是减少batch_size,这样每个worker要做的工作就会减少,并且可以更快地完成预处理。后一种选择在某些情况下是不可取的,因为会有空闲的GPU内存不被利用。

你也可以考虑离线做一些预处理,减轻每个worker的负担。例如,如果每个worker正在读取一个wav文件并计算音频文件的谱图,那么可以考虑离线预先计算谱图,只从工作者的磁盘中读取计算的谱图。这将减少每个worker的工作量。

你也可以考虑将dataloader里的设置pin_memory=False。

补充:pytorch加载训练数据集dataloader操作耗费时间太久,该如何解决?

笔者在使用pytorch加载训练数据进行模型训练的时候,发现数据加载需要耗费太多时间,该如何缩短数据加载的时间消耗呢?经过查询相关文档,

总结实际操作过程如下:

1、尽量将jpg等格式的文件保存为bmp文件,可以降低解码时间;

2、dataloader函数中增加num_workers参数,该参数表示加载数据的线程数,建议设置为该系统中的CPU核心数,若CPU很强劲,而且内存很大,也可以考虑将该数值设置的更大一些。

train_loader=torch.utils.data.DataLoader(dataset=train_dataset,batch_size=batch_size,shuffle=True)

修改为:

train_loader=torch.utils.data.DataLoader(dataset=train_dataset,batch_size=batch_size,shuffle=True,num_workers=multiprocessing.cpu_count())

虽然使用dataloader达到了iter(Dataset)的读取并行,但是没有实现在GPU运算时异步读取数据,可以考虑使用non_blocking实现。

dataloader = data.Dataloader(dataset, batch_size = batch_size, num_workers = workers)
for epoch in range(epochs):
    for batch_idx, (images, labels) in enumerate(dataloader):
        images = images.to(device)
        labels = labels.to(device)

改为:

dataloader = data.Dataloader(dataset, batch_size = batch_size, num_workers = workers, pin_memory = True)
for epoch in range(epochs):
    for batch_idx, (images, labels) in enumerate(dataloader):
        images = images.to(device, non_blocking=True)
        labels = labels.to(device, non_blocking=True)

需要注意的是:只有pin_memory=True并且num_workers>0时non_blocking才会有效。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python基于xml parse实现解析cdatasection数据
Sep 30 Python
在 Python 应用中使用 MongoDB的方法
Jan 05 Python
python3利用smtplib通过qq邮箱发送邮件方法示例
Dec 03 Python
Python实现pdf文档转txt的方法示例
Jan 19 Python
Python中实现变量赋值传递时的引用和拷贝方法
Apr 29 Python
浅析PHP与Python进行数据交互
May 15 Python
解决tensorflow测试模型时NotFoundError错误的问题
Jul 27 Python
PyQt4 treewidget 选择改变颜色,并设置可编辑的方法
Jun 17 Python
python的pytest框架之命令行参数详解(上)
Jun 27 Python
django 快速启动数据库客户端程序的方法示例
Aug 16 Python
python pillow模块使用方法详解
Aug 30 Python
Django基础CBV装饰器和中间件
Mar 22 Python
Python趣味爬虫之用Python实现智慧校园一键评教
Pytorch 如何加速Dataloader提升数据读取速度
在前女友婚礼上,用Python破解了现场的WIFI还把名称改成了
pytorch DataLoader的num_workers参数与设置大小详解
May 28 #Python
Flask搭建一个API服务器的步骤
May 28 #Python
Python趣味挑战之给幼儿园弟弟生成1000道算术题
May 28 #Python
解决Python中的modf()函数取小数部分不准确问题
May 28 #Python
You might like
PHP VS ASP
2006/10/09 PHP
来自PHP.NET的入门教程
2006/10/09 PHP
PHP中SESSION使用中的一点经验总结
2012/03/30 PHP
php中{}大括号是什么意思
2013/12/01 PHP
PHP实现采集抓取淘宝网单个商品信息
2015/01/08 PHP
Linux php 中文乱码的快速解决方法
2016/05/13 PHP
Smarty模板常见的简单应用分析
2016/11/15 PHP
jQuery 动画基础教程
2008/12/25 Javascript
JScript 脚本实现文件下载 一般用于下载木马
2009/10/29 Javascript
深入探讨JavaScript、JQuery屏蔽网页鼠标右键菜单及禁止选择复制
2014/06/10 Javascript
AngularJS模板加载用法详解
2016/11/04 Javascript
AngularJS指令与指令之间的交互功能示例
2016/12/14 Javascript
vue + socket.io实现一个简易聊天室示例代码
2017/03/06 Javascript
js图片轮播插件的封装
2017/07/21 Javascript
javascript+html5+css3自定义弹出窗口效果
2017/10/26 Javascript
微信小程序基于picker实现级联菜单
2019/02/15 Javascript
浅析JavaScript预编译和暗示全局变量
2020/09/03 Javascript
在Vue中获取自定义属性方法:data-id的实例
2020/09/09 Javascript
[32:36]完美世界DOTA2联赛PWL S3 LBZS vs CPG 第二场 12.12
2020/12/16 DOTA
使用python搭建Django应用程序步骤及版本冲突问题解决
2013/11/19 Python
python网络编程示例(客户端与服务端)
2014/04/24 Python
谈谈如何手动释放Python的内存
2016/12/17 Python
详解Python3操作Mongodb简明易懂教程
2017/05/25 Python
利用python提取wav文件的mfcc方法
2019/01/09 Python
Python enumerate函数功能与用法示例
2019/03/01 Python
解决Python中导入自己写的类,被划红线,但不影响执行的问题
2020/07/13 Python
如何用Matplotlib 画三维图的示例代码
2020/07/28 Python
美国网上眼镜商城:Zenni Optical
2016/11/20 全球购物
MAC Cosmetics巴西官方网站:M·A·C彩妆
2019/04/18 全球购物
英国豪华家具和经典家居饰品购物网站:OKA
2020/06/05 全球购物
什么是事务?事务有哪些性质?
2012/03/11 面试题
.NET面试10题
2014/02/24 面试题
我爱祖国演讲稿
2014/09/02 职场文书
2015年国庆晚会主持词
2015/07/01 职场文书
Python基础之常用库常用方法整理
2021/04/30 Python
Python中Schedule模块使用详解 周期任务神器
2022/04/19 Python