pytorch锁死在dataloader(训练时卡死)


Posted in Python onMay 28, 2021

1.问题描述

pytorch锁死在dataloader(训练时卡死)

2.解决方案

(1)Dataloader里面不用cv2.imread进行读取图片,用cv2.imread还会带来一系列的不方便,比如不能结合torchvision进行数据增强,所以最好用PIL 里面的Image.open来读图片。(并不适用本例)

(2)将DataLoader 里面的参变量num_workers设置为0,但会导致数据的读取很慢,拖慢整个模型的训练。(并不适用本例)

(3)如果用了cv2.imread,不想改代码的,那就加两条语句,来关闭Opencv的多线程:cv2.setNumThreads(0)和cv2.ocl.setUseOpenCL(False)。加了这两条语句之后,并不影响模型的训练。(并不适用本例)

(4)这种情况应该是属于pytorch多线程锁死,在github上看到有该问题,但是没有解决的。

参考建议

首先确保num_works数量低于CPU数量(如果使用Kubernetes,则设置为pod),但是设置得足够高,使数据随时可以用于下一次迭代。

如果GPU在t秒内运行每个迭代,而每个dataloader worker加载/处理单个批处理需要N*t秒,那么您应该将num_workers设置为至少N,以避免GPU停滞。当然,系统中至少要有N个cpu。

不幸的是,如果Dataloader使用任何使用K个线程的库,那么生成的进程数量就会变成num_workersK = NK。这可能比计算机中的cpu数量大得多。这会使pod节流,而Dataloader会变得非常慢。这可能导致Dataloader不返回批处理每t秒,导致GPU暂停。

避免K个线程的一种方法是通过OMP_NUM_THREADS=1 MKL_NUM_THREADS=1 python train.py调用主脚本。这就限制了每个Dataloader工作程序只能使用一个线程,从而避免了使机器不堪重负。你仍然需要有足够的num_workers来满足GPU的需要。

您还应该在_get_item__中优化您的代码,以便每个worker在较短的时间内完成其批处理。请确保worker完成批处理的时间不受从磁盘读取训练数据的时间(特别是当您从网络存储中读取数据时)或网络带宽(当您从网络磁盘读取数据时)的影响。如果您的数据集很小,并且您有足够的RAM,那么可以考虑将数据集移动到RAM(或/tmpfs)中,并从那里读取数据以进行快速访问。对于Kubernetes,您可以创建一个RAM磁盘(在Kubernetes中搜索emptyDir)。

如果你已经优化了你的_get_item__代码,并确保磁盘访问/网络访问不是罪魁祸首,但仍然会出现问题,你将需要请求更多的cpu(为了一个Kubernetes pod),或者将你的GPU移动到拥有更多cpu的机器上。

另一个选项是减少batch_size,这样每个worker要做的工作就会减少,并且可以更快地完成预处理。后一种选择在某些情况下是不可取的,因为会有空闲的GPU内存不被利用。

你也可以考虑离线做一些预处理,减轻每个worker的负担。例如,如果每个worker正在读取一个wav文件并计算音频文件的谱图,那么可以考虑离线预先计算谱图,只从工作者的磁盘中读取计算的谱图。这将减少每个worker的工作量。

你也可以考虑将dataloader里的设置pin_memory=False。

补充:pytorch加载训练数据集dataloader操作耗费时间太久,该如何解决?

笔者在使用pytorch加载训练数据进行模型训练的时候,发现数据加载需要耗费太多时间,该如何缩短数据加载的时间消耗呢?经过查询相关文档,

总结实际操作过程如下:

1、尽量将jpg等格式的文件保存为bmp文件,可以降低解码时间;

2、dataloader函数中增加num_workers参数,该参数表示加载数据的线程数,建议设置为该系统中的CPU核心数,若CPU很强劲,而且内存很大,也可以考虑将该数值设置的更大一些。

train_loader=torch.utils.data.DataLoader(dataset=train_dataset,batch_size=batch_size,shuffle=True)

修改为:

train_loader=torch.utils.data.DataLoader(dataset=train_dataset,batch_size=batch_size,shuffle=True,num_workers=multiprocessing.cpu_count())

虽然使用dataloader达到了iter(Dataset)的读取并行,但是没有实现在GPU运算时异步读取数据,可以考虑使用non_blocking实现。

dataloader = data.Dataloader(dataset, batch_size = batch_size, num_workers = workers)
for epoch in range(epochs):
    for batch_idx, (images, labels) in enumerate(dataloader):
        images = images.to(device)
        labels = labels.to(device)

改为:

dataloader = data.Dataloader(dataset, batch_size = batch_size, num_workers = workers, pin_memory = True)
for epoch in range(epochs):
    for batch_idx, (images, labels) in enumerate(dataloader):
        images = images.to(device, non_blocking=True)
        labels = labels.to(device, non_blocking=True)

需要注意的是:只有pin_memory=True并且num_workers>0时non_blocking才会有效。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python设计模式之单例模式实例
Apr 26 Python
跟老齐学Python之有容乃大的list(4)
Sep 28 Python
使用PDB模式调试Python程序介绍
Apr 05 Python
在Django中使用Sitemap的方法讲解
Jul 22 Python
Python实现模拟分割大文件及多线程处理的方法
Oct 10 Python
使用Python的package机制如何简化utils包设计详解
Dec 11 Python
python 读取文件并替换字段的实例
Jul 12 Python
python实现旋转和水平翻转的方法
Oct 25 Python
Python numpy中矩阵的基本用法汇总
Feb 12 Python
python-图片流传输的思路及示例(url转换二维码)
Dec 21 Python
自动在Windows中运行Python脚本并定时触发功能实现
Sep 04 Python
分享几种python 变量合并方法
Mar 20 Python
Python趣味爬虫之用Python实现智慧校园一键评教
Pytorch 如何加速Dataloader提升数据读取速度
在前女友婚礼上,用Python破解了现场的WIFI还把名称改成了
pytorch DataLoader的num_workers参数与设置大小详解
May 28 #Python
Flask搭建一个API服务器的步骤
May 28 #Python
Python趣味挑战之给幼儿园弟弟生成1000道算术题
May 28 #Python
解决Python中的modf()函数取小数部分不准确问题
May 28 #Python
You might like
PHP clearstatcache()函数详解
2010/03/02 PHP
PHP+Ajax检测用户名或邮件注册时是否已经存在实例教程
2014/08/23 PHP
php随机获取金山词霸每日一句的方法
2015/07/09 PHP
php防止表单重复提交实例讲解
2019/02/11 PHP
Js+Dhtml:WEB程序员简易开发工具包(预先体验版)
2006/11/07 Javascript
转义字符(\)对JavaScript中JSON.parse的影响概述
2013/07/17 Javascript
Jquery 切换不同图片示例代码
2013/12/05 Javascript
js 获取、清空input type="file"的值(示例代码)
2013/12/24 Javascript
使用JS获取当前地理位置方法汇总
2014/12/18 Javascript
jQuery中noConflict()用法实例分析
2015/02/08 Javascript
深入理解JavaScript系列(34):设计模式之命令模式详解
2015/03/03 Javascript
在Node.js中使用HTTP上传文件的方法
2015/06/23 Javascript
轻量级javascript 框架Backbone使用指南
2015/07/24 Javascript
JavaScript中const、var和let区别浅析
2016/10/11 Javascript
jQuery实现CheckBox全选、全不选功能
2017/01/11 Javascript
webpack配置sass模块的加载的方法
2017/07/30 Javascript
在React 组件中使用Echarts的示例代码
2017/11/08 Javascript
jQuery.Sumoselect插件实现下拉复选框效果
2017/11/09 jQuery
Vue打包后访问静态资源路径问题
2019/11/08 Javascript
jQuery实现弹出层效果
2019/12/10 jQuery
微信小程序入门之指南针
2020/10/22 Javascript
Python决策树和随机森林算法实例详解
2018/01/30 Python
pandas把dataframe转成Series,改变列中值的类型方法
2018/04/10 Python
Python常用的json标准库
2019/02/19 Python
python+os根据文件名自动生成文本
2019/03/21 Python
numpy 矩阵形状调整:拉伸、变成一位数组的实例
2020/06/18 Python
向全球直邮输送天然健康产品:iHerb.com
2020/05/03 全球购物
某公司部分笔试题
2013/11/05 面试题
Java面试题:Java类的Main方法如果是Private将会怎么样
2016/08/18 面试题
工程管理英文求职信
2014/03/18 职场文书
融资租赁计划书
2014/04/29 职场文书
高等学院职业生涯规划书范文
2014/09/16 职场文书
预备党员自我评价范文
2015/03/04 职场文书
市场督导岗位职责
2015/04/10 职场文书
学校教学管理制度
2015/08/06 职场文书
Apache Pulsar结合Hudi构建Lakehouse方案分析
2022/03/31 Servers