一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系


Posted in Python onJuly 03, 2020

以下内容都是针对Pytorch 1.0-1.1介绍。

很多文章都是从Dataset等对象自下往上进行介绍,但是对于初学者而言,其实这并不好理解,因为有的时候会不自觉地陷入到一些细枝末节中去,而不能把握重点,所以本文将会自上而下地对Pytorch数据读取方法进行介绍。

自上而下理解三者关系

首先我们看一下DataLoader.next的源代码长什么样,为方便理解我只选取了num_works为0的情况(num_works简单理解就是能够并行化地读取数据)。

class DataLoader(object):
	...
	
 def __next__(self):
  if self.num_workers == 0: 
   indices = next(self.sample_iter) # Sampler
   batch = self.collate_fn([self.dataset[i] for i in indices]) # Dataset
   if self.pin_memory:
    batch = _utils.pin_memory.pin_memory_batch(batch)
   return batch

在阅读上面代码前,我们可以假设我们的数据是一组图像,每一张图像对应一个index,那么如果我们要读取数据就只需要对应的index即可,即上面代码中的indices,而选取index的方式有多种,有按顺序的,也有乱序的,所以这个工作需要Sampler完成,现在你不需要具体的细节,后面会介绍,你只需要知道DataLoader和Sampler在这里产生关系。

那么Dataset和DataLoader在什么时候产生关系呢?没错就是下面一行。我们已经拿到了indices,那么下一步我们只需要根据index对数据进行读取即可了。

再下面的if语句的作用简单理解就是,如果pin_memory=True,那么Pytorch会采取一系列操作把数据拷贝到GPU,总之就是为了加速。

综上可以知道DataLoader,Sampler和Dataset三者关系如下:

一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系

在阅读后文的过程中,你始终需要将上面的关系记在心里,这样能帮助你更好地理解。

Sampler

参数传递

要更加细致地理解Sampler原理,我们需要先阅读一下DataLoader 的源代码,如下:

class DataLoader(object):
 def __init__(self, dataset, batch_size=1, shuffle=False, sampler=None,
     batch_sampler=None, num_workers=0, collate_fn=default_collate,
     pin_memory=False, drop_last=False, timeout=0,
     worker_init_fn=None)

可以看到初始化参数里有两种sampler:samplerbatch_sampler,都默认为None。前者的作用是生成一系列的index,而batch_sampler则是将sampler生成的indices打包分组,得到一个又一个batch的index。例如下面示例中,BatchSamplerSequentialSampler生成的index按照指定的batch size分组。

>>>in : list(BatchSampler(SequentialSampler(range(10)), batch_size=3, drop_last=False))
>>>out: [[0, 1, 2], [3, 4, 5], [6, 7, 8], [9]]

Pytorch中已经实现的Sampler有如下几种:

  • SequentialSampler
  • RandomSampler
  • WeightedSampler
  • SubsetRandomSampler

需要注意的是DataLoader的部分初始化参数之间存在互斥关系,这个你可以通过阅读源码更深地理解,这里只做总结:

  • 如果你自定义了batch_sampler,那么这些参数都必须使用默认值:batch_size, shuffle,sampler,drop_last.
  • 如果你自定义了sampler,那么shuffle需要设置为False
  • 如果sampler和batch_sampler都为None,那么batch_sampler使用Pytorch已经实现好的BatchSampler,而sampler分两种情况:
    • 若shuffle=True,则sampler=RandomSampler(dataset)
    • 若shuffle=False,则sampler=SequentialSampler(dataset)

如何自定义Sampler和BatchSampler?

仔细查看源代码其实可以发现,所有采样器其实都继承自同一个父类,即Sampler,其代码定义如下:

class Sampler(object):
 r"""Base class for all Samplers.
 Every Sampler subclass has to provide an :meth:`__iter__` method, providing a
 way to iterate over indices of dataset elements, and a :meth:`__len__` method
 that returns the length of the returned iterators.
 .. note:: The :meth:`__len__` method isn't strictly required by
    :class:`~torch.utils.data.DataLoader`, but is expected in any
    calculation involving the length of a :class:`~torch.utils.data.DataLoader`.
 """

 def __init__(self, data_source):
  pass

 def __iter__(self):
  raise NotImplementedError
		
 def __len__(self):
  return len(self.data_source)

所以你要做的就是定义好__iter__(self)函数,不过要注意的是该函数的返回值需要是可迭代的。例如SequentialSampler返回的是iter(range(len(self.data_source)))

另外BatchSampler与其他Sampler的主要区别是它需要将Sampler作为参数进行打包,进而每次迭代返回以batch size为大小的index列表。也就是说在后面的读取数据过程中使用的都是batch sampler。

Dataset

Dataset定义方式如下:

class Dataset(object):
	def __init__(self):
		...
		
	def __getitem__(self, index):
		return ...
	
	def __len__(self):
		return ...

上面三个方法是最基本的,其中__getitem__是最主要的方法,它规定了如何读取数据。但是它又不同于一般的方法,因为它是python built-in方法,其主要作用是能让该类可以像list一样通过索引值对数据进行访问。假如你定义好了一个dataset,那么你可以直接通过dataset[0]来访问第一个数据。在此之前我一直没弄清楚__getitem__是什么作用,所以一直不知道该怎么进入到这个函数进行调试。现在如果你想对__getitem__方法进行调试,你可以写一个for循环遍历dataset来进行调试了,而不用构建dataloader等一大堆东西了,建议学会使用ipdb这个库,非常实用!!!以后有时间再写一篇ipdb的使用教程。另外,其实我们通过最前面的Dataloader的__next__函数可以看到DataLoader对数据的读取其实就是用了for循环来遍历数据,不用往上翻了,我直接复制了一遍,如下:

class DataLoader(object): 
 ... 
  
 def __next__(self): 
  if self.num_workers == 0: 
   indices = next(self.sample_iter) 
   batch = self.collate_fn([self.dataset[i] for i in indices]) # this line 
   if self.pin_memory: 
    batch = _utils.pin_memory.pin_memory_batch(batch) 
   return batch

我们仔细看可以发现,前面还有一个self.collate_fn方法,这个是干嘛用的呢?在介绍前我们需要知道每个参数的意义:

  • indices: 表示每一个iteration,sampler返回的indices,即一个batch size大小的索引列表
  • self.dataset[i]: 前面已经介绍了,这里就是对第i个数据进行读取操作,一般来说self.dataset[i]=(img, label)

看到这不难猜出collate_fn的作用就是将一个batch的数据进行合并操作。默认的collate_fn是将img和label分别合并成imgs和labels,所以如果你的__getitem__方法只是返回 img, label,那么你可以使用默认的collate_fn方法,但是如果你每次读取的数据有img, box, label等等,那么你就需要自定义collate_fn来将对应的数据合并成一个batch数据,这样方便后续的训练步骤。

到此这篇关于一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系的文章就介绍到这了,更多相关Pytorch DataLoader DataSet Sampler内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python正则表达式介绍
Aug 06 Python
python中as用法实例分析
Apr 30 Python
python中pygame针对游戏窗口的显示方法实例分析(附源码)
Nov 11 Python
Python callable()函数用法实例分析
Mar 17 Python
实例分析python3实现并发访问水平切分表
Sep 29 Python
解决python3捕获cx_oracle抛出的异常错误问题
Oct 18 Python
Python中使用遍历在列表中添加字典遇到的坑
Feb 27 Python
分析运行中的 Python 进程详细解析
Jun 22 Python
对pytorch中的梯度更新方法详解
Aug 20 Python
pandas实现excel中的数据透视表和Vlookup函数功能代码
Feb 14 Python
Django {{ MEDIA_URL }}无法显示图片的解决方式
Apr 07 Python
Python 全局空间和局部空间
Apr 06 Python
keras分类模型中的输入数据与标签的维度实例
Jul 03 #Python
keras自动编码器实现系列之卷积自动编码器操作
Jul 03 #Python
Python with语句用法原理详解
Jul 03 #Python
Keras搭建自编码器操作
Jul 03 #Python
python 识别登录验证码图片功能的实现代码(完整代码)
Jul 03 #Python
python图片验证码识别最新模块muggle_ocr的示例代码
Jul 03 #Python
keras topN显示,自编写代码案例
Jul 03 #Python
You might like
饭制《星际争霸》Mod:优化游戏机制 增加新单位
2017/07/02 星际争霸
PHP对字符串的递增运算分析
2010/08/08 PHP
PHP include_path设置技巧分享
2011/07/03 PHP
深入php之规范编程命名小结
2013/05/15 PHP
深入php多态的实现详解
2013/06/09 PHP
PHP基于phpqrcode类生成二维码的方法详解
2018/03/14 PHP
详解PHP素材图片上传、下载功能
2019/04/12 PHP
PHP中常用的三种设计模式详解【单例模式、工厂模式、观察者模式】
2019/06/14 PHP
javascript同步Import,同步调用外部js的方法
2008/07/08 Javascript
javascript 处理事件绑定的一些兼容写法
2009/12/24 Javascript
jquery.bgiframe.js在IE9下提示INVALID_CHARACTER_ERR错误
2013/01/11 Javascript
jQuery+ajax实现无刷新级联菜单示例
2015/05/21 Javascript
理解JavaScript事件对象
2016/01/25 Javascript
javascript中this指向详解
2016/04/23 Javascript
Boostrap基础教程之JavaScript插件篇
2016/09/08 Javascript
Javascript oop设计模式 面向对象编程简单实例介绍
2016/12/13 Javascript
利用jquery实现实时更新歌词的方法
2017/01/06 Javascript
微信小程序 自动登陆PHP源码实例(源码下载)
2017/05/08 Javascript
javascript实现延时显示提示框效果
2017/06/01 Javascript
浏览器调试动态js脚本的方法(图解)
2018/01/19 Javascript
Node.js Stream ondata触发时机与顺序的探索
2019/03/08 Javascript
[01:03:37]Secret vs VGJ.S Supermajor小组赛C组 BO3 第二场 6.3
2018/06/04 DOTA
Python编程实现数学运算求一元二次方程的实根算法示例
2017/04/02 Python
Python如何用filter函数筛选数据
2020/03/05 Python
使用IPython或Spyder将省略号表示的内容完整输出
2020/04/20 Python
Django封装交互接口代码
2020/07/12 Python
加拿大鞋子连锁店:Town Shoes
2016/09/26 全球购物
英国拳击装备购物网站:RDX Sports
2018/01/23 全球购物
波兰在线体育用品商店:Hop-Sport.pl
2019/07/23 全球购物
面向游戏玩家和书呆子的极客订阅盒:Loot Crate
2020/11/25 全球购物
《梅花魂》教学反思
2014/04/30 职场文书
无私奉献演讲稿
2014/09/04 职场文书
镇政府副镇长群众路线专题民主生活会对照检查材料
2014/09/19 职场文书
护士长2014年终工作总结
2014/11/11 职场文书
工作迟到检讨书范文
2015/05/06 职场文书