pytorch 如何把图像数据集进行划分成train,test和val


Posted in Python onMay 31, 2021

1、手上目前拥有数据集是一大坨,没有train,test,val的划分

如图所示


pytorch 如何把图像数据集进行划分成train,test和val

2、目录结构:

|---data
     |---dslr
         |---images
         		|---back_pack
         			|---a.jpg
         			|---b.jpg
         			...

3、转换后的格式如图

pytorch 如何把图像数据集进行划分成train,test和val

目录结构为:

|---datanews
     |---dslr
         |---images
         		|---test
         		|---train
         		|---valid
	         		|---back_pack
	         			|---a.jpg
	         			|---b.jpg
	         			...

4、代码如下:

4.1 先创建同样结构的层级结构

4.2 然后讲原始数据按照比例划分

4.3 移入到对应的文件目录里面

import os, random, shutil

def make_dir(source, target):
    '''
    创建和源文件相似的文件路径函数
    :param source: 源文件位置
    :param target: 目标文件位置
    '''
    dir_names = os.listdir(source)
    for names in dir_names:
        for i in ['train', 'valid', 'test']:
            path = target + '/' + i + '/' + names
            if not os.path.exists(path):
                os.makedirs(path)

def divideTrainValiTest(source, target):
    '''
        创建和源文件相似的文件路径
        :param source: 源文件位置
        :param target: 目标文件位置
    '''
    # 得到源文件下的种类
    pic_name = os.listdir(source)
    
    # 对于每一类里的数据进行操作
    for classes in pic_name:
        # 得到这一种类的图片的名字
        pic_classes_name = os.listdir(os.path.join(source, classes))
        random.shuffle(pic_classes_name)
        
        # 按照8:1:1比例划分
        train_list = pic_classes_name[0:int(0.8 * len(pic_classes_name))]
        valid_list = pic_classes_name[int(0.8 * len(pic_classes_name)):int(0.9 * len(pic_classes_name))]
        test_list = pic_classes_name[int(0.9 * len(pic_classes_name)):]
        
        # 对于每个图片,移入到对应的文件夹里面
        for train_pic in train_list:
            shutil.copyfile(source + '/' + classes + '/' + train_pic, target + '/train/' + classes + '/' + train_pic)
        for validation_pic in valid_list:
            shutil.copyfile(source + '/' + classes + '/' + validation_pic,
                            target + '/valid/' + classes + '/' + validation_pic)
        for test_pic in test_list:
            shutil.copyfile(source + '/' + classes + '/' + test_pic, target + '/test/' + classes + '/' + test_pic)

if __name__ == '__main__':
    filepath = r'../data/dslr/images'
    dist = r'../datanews/dslr/images'
    make_dir(filepath, dist)
    divideTrainValiTest(filepath, dist)

补充:pytorch中数据集的划分方法及eError: take(): argument 'index' (position 1) must be Tensor, not numpy.ndarray错误原因

在使用pytorch框架时,难免需要对数据集进行训练集和验证集的划分,一般使用sklearn.model_selection中的train_test_split方法

该方法使用如下:

from sklearn.model_selection import train_test_split
import numpy as np
import torch
import torch.autograd import Variable
from torch.utils.data import DataLoader
 
traindata = np.load(train_path)   # image_num * W * H
trainlabel = np.load(train_label_path)
train_data = traindata[:, np.newaxis, ...]
train_label_data = trainlabel[:, np.newaxis, ...]
 
x_tra, x_val, y_tra, y_val = train_test_split(train_data, train_label_data, test_size=0.1, random_state=0)  # 训练集和验证集使用9:1
 
x_tra = Variable(torch.from_numpy(x_tra))
x_tra = x_tra.float()
y_tra = Variable(torch.from_numpy(y_tra))
y_tra = y_tra.float()
 
x_val = Variable(torch.from_numpy(x_val))
x_val = x_val.float()
y_val = Variable(torch.from_numpy(y_val))
y_val = y_val.float()
 
# 训练集的DataLoader
traindataset = torch.utils.data.TensorDataset(x_tra, y_tra)
trainloader = DataLoader(dataset=traindataset, num_workers=opt.threads, batch_size=8, shuffle=True)  
 
# 验证集的DataLoader
validataset = torch.utils.data.TensorDataset(x_val, y_val)
valiloader = DataLoader(dataset=validataset, num_workers=opt.threads, batch_size=opt.batchSize, shuffle=True)

注意:如果按照如下方式使用,就会报eError: take(): argument 'index' (position 1) must be Tensor, not numpy.ndarray错误

from sklearn.model_selection import train_test_split
import numpy as np
import torch
import torch.autograd import Variable
from torch.utils.data import DataLoader
 
traindata = np.load(train_path)   # image_num * W * H
trainlabel = np.load(train_label_path)
 
train_data = traindata[:, np.newaxis, ...]
train_label_data = trainlabel[:, np.newaxis, ...]
 
x_train = Variable(torch.from_numpy(train_data))
x_train = x_train.float()
y_train = Variable(torch.from_numpy(train_label_data))
y_train = y_train.float()
# 将原始的训练数据集分为训练集和验证集,后面就可以使用早停机制
x_tra, x_val, y_tra, y_val = train_test_split(x_train, y_train, test_size=0.1)  # 训练集和验证集使用9:1

报错原因:

train_test_split方法接受的x_train,y_train格式应该为numpy.ndarray 而不应该是Tensor,这点需要注意。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python list 合并连接字符串的方法
Mar 09 Python
windows下wxPython开发环境安装与配置方法
Jun 28 Python
在Python的web框架中配置app的教程
Apr 30 Python
Python脚本处理空格的方法
Aug 08 Python
朴素贝叶斯分类算法原理与Python实现与使用方法案例
Jun 26 Python
Python中的 is 和 == 以及字符串驻留机制详解
Jun 28 Python
OpenCV 使用imread()函数读取图片的六种正确姿势
Jul 09 Python
Python DataFrame使用drop_duplicates()函数去重(保留重复值,取重复值)
Jul 20 Python
使用python把xmind转换成excel测试用例的实现代码
Oct 12 Python
Python文件名匹配与文件复制的实现
Dec 11 Python
python实现Thrift服务端的方法
Apr 20 Python
Python编程编写完善的命令行工具
Sep 15 Python
Python图片检索之以图搜图
写一个Python脚本下载哔哩哔哩舞蹈区的所有视频
python中的plt.cm.Paired用法说明
May 31 #Python
在pycharm中无法import所安装的库解决方案
如何在pycharm中快捷安装pip命令(如pygame)
Python 实现绘制子图及子图刻度的变换等问题
python 利用PyAutoGUI快速构建自动化操作脚本
You might like
php比较两个绝对时间的大小
2014/01/31 PHP
PHP常用的缓存技术汇总
2014/05/05 PHP
php版微信公众平台回复中文出现乱码问题的解决方法
2016/09/22 PHP
Zend Framework基于Command命令行建立ZF项目的方法
2017/02/18 PHP
yii2中dropDownList实现二级和三级联动写法
2017/04/26 PHP
PHP静态延迟绑定和普通静态效率的对比
2017/10/20 PHP
jQuery获取样式中的背景颜色属性值/颜色值
2012/12/17 Javascript
jquery重复提交请求的原因浅析
2014/05/23 Javascript
javascript实现平滑无缝滚动
2020/08/09 Javascript
jQuery height()、innerHeight()、outerHeight()函数的区别详解
2016/05/23 Javascript
jquery表单插件Autotab使用方法详解
2016/06/24 Javascript
Bootstrap 3.x打印预览背景色与文字显示异常的解决
2016/11/06 Javascript
Bootstrap模态对话框用法简单示例
2018/08/31 Javascript
详解微信小程序与内嵌网页交互实现支付功能
2018/10/22 Javascript
详解Vue实战指南之依赖注入(provide/inject)
2018/11/13 Javascript
JavaScript 格式化数字、金额、千分位、保留几位小数、舍入舍去
2019/07/23 Javascript
JS自定义对象创建与简单使用方法示例
2020/01/15 Javascript
js实现滚动条自动滚动
2020/12/13 Javascript
Tornado协程在python2.7如何返回值(实现方法)
2017/06/22 Python
pygame游戏之旅 计算游戏中躲过的障碍数量
2018/11/20 Python
Python解析json时提示“string indices must be integers”问题解决方法
2019/07/31 Python
docker django无法访问redis容器的解决方法
2019/08/21 Python
python实现扑克牌交互式界面发牌程序
2020/04/22 Python
html5中canvas图表实现柱状图的示例
2017/11/13 HTML / CSS
html5 canvas手势解锁源码分享
2020/01/07 HTML / CSS
斯洛伐克时尚服装网上商店:Cellbes
2016/10/20 全球购物
日本著名化妆品零售网站:Cosme Land
2019/03/01 全球购物
error和exception有什么区别
2012/10/02 面试题
人事专员岗位职责
2013/11/20 职场文书
《陶罐和铁罐》教学反思
2014/02/19 职场文书
法制宣传实施方案
2014/03/13 职场文书
协议书范文
2015/01/27 职场文书
2015国庆66周年宣传语
2015/07/14 职场文书
会计岗位工作总结
2015/08/12 职场文书
卖车协议书范文
2016/03/23 职场文书
python中os.path.join()函数实例用法
2021/05/26 Python