python torch.utils.data.DataLoader使用方法


Posted in Python onApril 02, 2020

PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader,该接口定义在dataloader.py脚本中,只要是用PyTorch来训练模型基本都会用到该接口,该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch size封装成Tensor,后续只需要再包装成Variable即可作为模型的输入,因此该接口有点承上启下的作用,比较重要。

数据加载器,结合了数据集和取样器,并且可以提供多个线程处理数据集。

在训练模型时使用到此函数,用来把训练数据分成多个小组,此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。

python torch.utils.data.DataLoader使用方法

生成迭代数据非常方便,请看如下示例:

"""
  批训练,把数据变成一小批一小批数据进行训练。
  DataLoader就是用来包装所使用的数据,每次抛出一批数据
"""
import torch
import torch.utils.data as Data

BATCH_SIZE = 5

x = torch.linspace(1, 10, 10)
y = torch.linspace(10, 1, 10)
# 把数据放在数据库中
torch_dataset = Data.TensorDataset(x, y)
loader = Data.DataLoader(
  # 从数据库中每次抽出batch size个样本
  dataset=torch_dataset,
  batch_size=BATCH_SIZE,
  shuffle=True,
  num_workers=2,
)


def show_batch():
  for epoch in range(3):
    for step, (batch_x, batch_y) in enumerate(loader):
      # training


      print("steop:{}, batch_x:{}, batch_y:{}".format(step, batch_x, batch_y))


if __name__ == '__main__':
  show_batch()

结果:

python torch.utils.data.DataLoader使用方法

我们来看一下变量类型:

python torch.utils.data.DataLoader使用方法

到此这篇关于python torch.utils.data.DataLoader使用方法的文章就介绍到这了,更多相关torch.utils.data.DataLoader内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
如何运行Python程序的方法
Apr 21 Python
Python获取apk文件URL地址实例
Nov 01 Python
详解PyTorch批训练及优化器比较
Apr 28 Python
Python爬虫:url中带字典列表参数的编码转换方法
Aug 21 Python
详解python路径拼接os.path.join()函数的用法
Oct 09 Python
Python TCP通信客户端服务端代码实例
Nov 21 Python
详解opencv中画圆circle函数和椭圆ellipse函数
Dec 27 Python
pytorch 自定义参数不更新方式
Jan 06 Python
pytorch方法测试详解——归一化(BatchNorm2d)
Jan 15 Python
tensorflow获取预训练模型某层参数并赋值到当前网络指定层方式
Jan 24 Python
python MD5加密的示例
Oct 19 Python
python自动计算图像数据集的RGB均值
Jun 18 Python
Python基于stuck实现scoket文件传输
Apr 02 #Python
Python要求O(n)复杂度求无序列表中第K的大元素实例
Apr 02 #Python
Pytorch 使用不同版本的cuda的方法步骤
Apr 02 #Python
pytorch 中的重要模块化接口nn.Module的使用
Apr 02 #Python
python递归函数求n的阶乘,优缺点及递归次数设置方式
Apr 02 #Python
PyTorch中的C++扩展实现
Apr 02 #Python
python实现将列表中各个值快速赋值给多个变量
Apr 02 #Python
You might like
PHP完整的日历类(CLASS)
2006/11/27 PHP
php操作xml入门之cdata区段
2015/01/23 PHP
Laravel 5 学习笔记
2015/03/06 PHP
php中的常用魔术方法汇总
2016/02/14 PHP
PHP实现用户登录的案例代码
2018/05/10 PHP
php实现将数据做成json的格式给前端使用
2018/08/21 PHP
filemanage功能中用到的common.js
2007/04/08 Javascript
常用一些Javascript判断函数
2012/08/14 Javascript
IE网页js语法错误2行字符1、FF中正常的解决方法
2013/09/09 Javascript
ie8本地图片上传预览示例代码
2014/01/12 Javascript
JS函数的几种定义方式分析
2015/12/17 Javascript
郁闷!ionic中获取ng-model绑定的值为undefined如何解决
2016/08/27 Javascript
javascript实现的左右无缝滚动效果
2016/09/19 Javascript
原生和jQuery的ajax用法详解
2017/01/23 Javascript
微信小程序开发之animation循环动画实现的让云朵飘效果
2017/07/14 Javascript
基于js粘贴事件paste简单解析以及遇到的坑
2017/09/07 Javascript
打通前后端构建一个Vue+Express的开发环境
2018/07/17 Javascript
Vue用v-for给循环标签自身属性添加属性值的方法
2018/10/18 Javascript
为什么说JavaScript预解释是一种毫无节操的机制详析
2018/11/18 Javascript
小程序指纹验证的实现代码
2018/12/04 Javascript
Python 内置函数进制转换的用法(十进制转二进制、八进制、十六进制)
2018/04/30 Python
python实现本地图片转存并重命名的示例代码
2018/10/27 Python
CentOS 7下安装Python3.6 及遇到的问题小结
2018/11/08 Python
在PyCharm中实现关闭一个死循环程序的方法
2018/11/29 Python
使用python实现简单五子棋游戏
2019/06/18 Python
澳大利亚儿童和婴儿产品在线商店:Lime Tree Kids
2017/10/05 全球购物
沙特阿拉伯排名第一的在线时尚购物应用程序:1Zillion
2020/08/08 全球购物
理货员的岗位职责
2013/11/23 职场文书
函授教育个人学习的自我评价
2013/12/31 职场文书
小学生感恩演讲稿
2014/04/25 职场文书
实习生评语
2014/04/26 职场文书
幼师求职信
2014/06/23 职场文书
父亲节寄语大全
2015/02/27 职场文书
导游词之无锡梅园
2019/11/28 职场文书
Python趣味挑战之用pygame实现简单的金币旋转效果
2021/05/31 Python
Python用tkinter实现自定义记事本的方法详解
2022/03/31 Python