pytorch 实现多个Dataloader同时训练


Posted in Python onMay 29, 2021

看代码吧~

pytorch 实现多个Dataloader同时训练

如果两个dataloader的长度不一样,那就加个:

from itertools import cycle

仅使用zip,迭代器将在长度等于最小数据集的长度时耗尽。 但是,使用cycle时,我们将再次重复最小的数据集,除非迭代器查看最大数据集中的所有样本。

pytorch 实现多个Dataloader同时训练

补充:pytorch技巧:自定义数据集 torch.utils.data.DataLoader 及Dataset的使用

本博客中有可直接运行的例子,便于直观的理解,在torch环境中运行即可。

1. 数据传递机制

在 pytorch 中数据传递按一下顺序:

1、创建 datasets ,也就是所需要读取的数据集。

2、把 datasets 传入DataLoader。

3、DataLoader迭代产生训练数据提供给模型。

2. torch.utils.data.Dataset

Pytorch提供两种数据集:

Map式数据集 Iterable式数据集。其中Map式数据集继承torch.utils.data.Dataset,Iterable式数据集继承torch.utils.data.IterableDataset。

本文只介绍 Map式数据集。

一个Map式的数据集必须要重写 __getitem__(self, index)、 __len__(self) 两个方法,用来表示从索引到样本的映射(Map)。 __getitem__(self, index)按索引映射到对应的数据, __len__(self)则会返回这个数据集的长度。

基本格式如下:

import torch.utils.data as data
class VOCDetection(data.Dataset):
    '''
    必须继承data.Dataset类
    '''
    def __init__(self):
        '''
        在这里进行初始化,一般是初始化文件路径或文件列表
        '''
        pass
    def __getitem__(self, index):
        '''
        1. 按照index,读取文件中对应的数据  (读取一个数据!!!!我们常读取的数据是图片,一般我们送入模型的数据成批的,但在这里只是读取一张图片,成批后面会说到)
        2. 对读取到的数据进行数据增强 (数据增强是深度学习中经常用到的,可以提高模型的泛化能力)
        3. 返回数据对 (一般我们要返回 图片,对应的标签) 在这里因为我没有写完整的代码,返回值用 0 代替
        '''
        return 0
    def __len__(self):
        '''
        返回数据集的长度
        '''
        return 0

可直接运行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模拟输入, 8个样本,每个样本长度为10
y = np.array(range(8))  # 模拟对应样本的标签, 8个标签 
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index] #可继续进行数据增强,这里没有进行数据增强操作
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
datasets = Mydataset(x, y)  # 初始化
print(datasets.__len__())  # 调用__len__() 返回数据的长度
for i in range(len(y)):
    input_data, target = datasets.__getitem__(i)  # 调用__getitem__(index) 返回读取的数据对
    print('input_data%d =' % i, input_data)
    print('target%d = ' % i, target)

结果如下:

pytorch 实现多个Dataloader同时训练

3. torch.utils.data.DataLoader

PyTorch中数据读取的一个重要接口是 torch.utils.data.DataLoader。

该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch_size封装成Tensor,后续只需要再包装成Variable即可作为模型的输入。

torch.utils.data.DataLoader(onject)的可用参数如下:

1.dataset(Dataset): 数据读取接口,该输出是torch.utils.data.Dataset类的对象(或者继承自该类的自定义类的对象)。

2.batch_size (int, optional): 批训练数据量的大小,根据具体情况设置即可。一般为2的N次方(默认:1)

3.shuffle (bool, optional):是否打乱数据,一般在训练数据中会采用。(默认:False)

4.sampler (Sampler, optional):从数据集中提取样本的策略。如果指定,“shuffle”必须为false。我没有用过,不太了解。

5.batch_sampler (Sampler, optional):和batch_size、shuffle等参数互斥,一般用默认。

6.num_workers:这个参数必须大于等于0,为0时默认使用主线程读取数据,其他大于0的数表示通过多个进程来读取数据,可以加快数据读取速度,一般设置为2的N次方,且小于batch_size(默认:0)

7.collate_fn (callable, optional): 合并样本清单以形成小批量。用来处理不同情况下的输入dataset的封装。

8.pin_memory (bool, optional):如果设置为True,那么data loader将会在返回它们之前,将tensors拷贝到CUDA中的固定内存中.

9.drop_last (bool, optional): 如果数据集大小不能被批大小整除,则设置为“true”以除去最后一个未完成的批。如果“false”那么最后一批将更小。(默认:false)

10.timeout(numeric, optional):设置数据读取时间限制,超过这个时间还没读取到数据的话就会报错。(默认:0)

11.worker_init_fn (callable, optional): 每个worker初始化函数(默认:None)

可直接运行的例子:

import torch.utils.data as data
import numpy as np
x = np.array(range(80)).reshape(8, 10) # 模拟输入, 8个样本,每个样本长度为10
y = np.array(range(8))  # 模拟对应样本的标签, 8个标签
class Mydataset(data.Dataset):
    def __init__(self, x, y):
        self.x = x
        self.y = y
        self.idx = list()
        for item in x:
            self.idx.append(item)
        pass
    def __getitem__(self, index):
        input_data = self.idx[index]
        target = self.y[index]
        return input_data, target
    def __len__(self):
        return len(self.idx)
if __name__ ==('__main__'):
    datasets = Mydataset(x, y)  # 初始化
    dataloader = data.DataLoader(datasets, batch_size=4, num_workers=2) 
    for i, (input_data, target) in enumerate(dataloader):
        print('input_data%d' % i, input_data)
        print('target%d' % i, target)

结果如下:(注意看类别,DataLoader把数据封装为Tensor)

pytorch 实现多个Dataloader同时训练

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中合并两个文本文件并按照姓名首字母排序的例子
Apr 25 Python
python采集博客中上传的QQ截图文件
Jul 18 Python
Python实现截屏的函数
Jul 25 Python
WINDOWS 同时安装 python2 python3 后 pip 错误的解决方法
Mar 16 Python
利用django+wechat-python-sdk 创建微信服务器接入的方法
Feb 20 Python
Python实现的调用C语言函数功能简单实例
Mar 13 Python
利用python求积分的实例
Jul 03 Python
Python 如何查找特定类型文件
Aug 17 Python
Django CBV模型源码运行流程详解
Aug 17 Python
python 实现一个简单的线性回归案例
Dec 17 Python
使用Python拟合函数曲线
Apr 14 Python
python在package下继续嵌套一个package
Apr 14 Python
python 如何做一个识别率百分百的OCR
基于PyTorch实现一个简单的CNN图像分类器
May 29 #Python
python 爬取华为应用市场评论
python 开心网和豆瓣日记爬取的小爬虫
May 29 #Python
Python趣味挑战之实现简易版音乐播放器
新手必备Python开发环境搭建教程
Keras多线程机制与flask多线程冲突的解决方案
May 28 #Python
You might like
php压缩多个CSS为一个css的代码并缓存
2011/04/21 PHP
ThinkPHP自动验证失败的解决方法
2011/06/09 PHP
php删除文件夹及其文件夹下所有文件的函数代码
2013/01/23 PHP
php中运用http调用的GET和POST方法示例
2014/09/29 PHP
学习php设计模式 php实现合成模式(composite)
2015/12/08 PHP
PHP设计模式之迭代器模式
2016/06/17 PHP
yii2 commands模式以及配置crontab定时任务的方法
2017/08/19 PHP
ThinkPHP5框架缓存查询操作分析
2018/05/30 PHP
Ext面向对象开发实践(续)
2008/11/18 Javascript
js弹出模式对话框,并接收回传值的方法
2013/03/12 Javascript
jquery图片滚动放大代码分享(2)
2015/08/28 Javascript
BootStrap智能表单实战系列(八)表单配置json详解
2016/06/13 Javascript
浅谈JavaScript 数据属性和访问器属性
2016/09/01 Javascript
vue2.0+koa2+mongodb实现注册登录
2018/04/10 Javascript
vue与原生app的对接交互的方法(混合开发)
2018/11/28 Javascript
Node.JS用纯JavaScript生成图片或滑块式验证码功能
2019/09/12 Javascript
小程序怎样让wx.navigateBack更好用的方法实现
2019/11/01 Javascript
webpack5 联邦模块介绍详解
2020/07/08 Javascript
Python中实现结构相似的函数调用方法
2015/03/10 Python
用Python编写一个简单的俄罗斯方块游戏的教程
2015/04/03 Python
为Python程序添加图形化界面的教程
2015/04/29 Python
PyQt5利用QPainter绘制各种图形的实例
2017/10/19 Python
Python排序搜索基本算法之堆排序实例详解
2017/12/08 Python
matplotlib绘图实例演示标记路径
2018/01/23 Python
Python中的单继承与多继承实例分析
2018/05/10 Python
Pycharm中出现ImportError:DLL load failed:找不到指定模块的解决方法
2019/09/17 Python
python线程池 ThreadPoolExecutor 的用法示例
2020/10/10 Python
Emporio Armani腕表天猫官方旗舰店:乔治·阿玛尼为年轻人设计的副线品牌
2017/07/02 全球购物
美国在线旅行社:Crystal Travel
2018/09/11 全球购物
机械设计制造专业个人求职信
2013/09/25 职场文书
大专毕业生自我鉴定
2013/11/21 职场文书
社会学专业求职信
2014/02/24 职场文书
小学综合实践活动总结
2014/07/07 职场文书
电力培训心得体会
2014/09/02 职场文书
springboot中rabbitmq实现消息可靠性机制详解
2021/09/25 Java/Android
java如何实现获取客户端ip地址的示例代码
2022/04/07 Java/Android