Python图像读写方法对比


Posted in Python onNovember 16, 2020

1  实验标准

因为训练使用的框架是Pytorch,因此读取的实验标准如下:

1、读取分辨率都为1920x1080的5张图片(png格式一张,jpg格式四张)并保存到数组。

2、将读取的数组转换为维度顺序为CxHxW的Pytorch张量,并保存到显存中(我使用GPU训练),其中三个通道的顺序为RGB。

3、记录各个方法在以上操作中所耗费的时间。因为png格式的图片大小差不多是质量有微小差异的jpg格式的10倍,所以数据集通常不会用png来保存,就不比较这两种格式的读取时间差异了。

写入的实验标准如下:

1、将5张1920x1080的5张图像对应的Pytorch张量转换为对应方法可使用的数据类型数组。

2、以jpg格式保存五张图片。

3、记录各个方法保存图片所耗费的时间。

2  实验情况

2.1  cv2

因为有GPU,所以cv2读取图片有两种方式:

1、先把图片都读取为一个numpy数组,再转换成保存在GPU中的pytorch张量。

2、初始化一个保存在GPU中的pytorch张量,然后将每张图直接复制进这个张量中。

第一种方式实验代码如下:

import os, torch
import cv2 as cv 
import numpy as np 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# cv2读取 1
start_t = time()
imgs = np.zeros([5, 1080, 1920, 3])
for img, i in zip(os.listdir(read_path), range(5)): 
 img = cv.imread(filename=os.path.join(read_path, img))
 imgs[i] = img 
imgs = torch.tensor(imgs).to('cuda')[...,[2,1,0]].permute([0,3,1,2])/255 
print('cv2 读取时间1:', time() - start_t) 
# cv2保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])[...,[2,1,0]]*255).cpu().numpy()
for i in range(imgs.shape[0]): 
 cv.imwrite(write_path + str(i) + '.jpg', imgs[i])
print('cv2 保存时间:', time() - start_t)

 实验结果:

cv2 读取时间1: 0.39693760871887207
cv2 保存时间: 0.3560612201690674

第二种方式实验代码如下:

import os, torch
import cv2 as cv 
import numpy as np 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
 
# cv2读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(cv.imread(filename=os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs[...,[2,1,0]].permute([0,3,1,2])/255 
print('cv2 读取时间2:', time() - start_t) 
# cv2保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])[...,[2,1,0]]*255).cpu().numpy()
for i in range(imgs.shape[0]): 
 cv.imwrite(write_path + str(i) + '.jpg', imgs[i])
print('cv2 保存时间:', time() - start_t)

实验结果:

cv2 读取时间2: 0.23636841773986816
cv2 保存时间: 0.3066873550415039

2.2  matplotlib

同样两种读取方式,第一种代码如下:

import os, torch 
import numpy as np
import matplotlib.pyplot as plt 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 1
start_t = time()
imgs = np.zeros([5, 1080, 1920, 3])
for img, i in zip(os.listdir(read_path), range(5)): 
 img = plt.imread(os.path.join(read_path, img)) 
 imgs[i] = img  
imgs = torch.tensor(imgs).to('cuda').permute([0,3,1,2])/255 
print('matplotlib 读取时间1:', time() - start_t) 
# matplotlib 保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])).cpu().numpy()
for i in range(imgs.shape[0]): 
 plt.imsave(write_path + str(i) + '.jpg', imgs[i])
print('matplotlib 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间1: 0.45380306243896484
matplotlib 保存时间: 0.768944263458252

第二种方式实验代码:

import os, torch 
import numpy as np
import matplotlib.pyplot as plt 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(plt.imread(os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs.permute([0,3,1,2])/255 
print('matplotlib 读取时间2:', time() - start_t) 
# matplotlib 保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])).cpu().numpy()
for i in range(imgs.shape[0]): 
 plt.imsave(write_path + str(i) + '.jpg', imgs[i])
print('matplotlib 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间2: 0.2044532299041748
matplotlib 保存时间: 0.4737534523010254

需要注意的是,matplotlib读取png格式图片获取的数组的数值是在[0,1][0,1]范围内的浮点数,而jpg格式图片却是在[0,255][0,255]范围内的整数。所以如果数据集内图片格式不一致,要注意先转换为一致再读取,否则数据集的预处理就麻烦了。

2.3  PIL

PIL的读取与写入并不能直接使用pytorch张量或numpy数组,要先转换为Image类型,所以很麻烦,时间复杂度上肯定也是占下风的,就不实验了。

2.4  torchvision

torchvision提供了直接从pytorch张量保存图片的功能,和上面读取最快的matplotlib的方法结合,代码如下:

import os, torch 
import matplotlib.pyplot as plt 
from time import time 
from torchvision import utils 

read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(plt.imread(os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs.permute([0,3,1,2])/255 
print('matplotlib 读取时间2:', time() - start_t) 
# torchvision 保存
start_t = time() 
for i in range(imgs.shape[0]):  
 utils.save_image(imgs[i], write_path + str(i) + '.jpg')
print('torchvision 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间2: 0.15358829498291016
torchvision 保存时间: 0.14760661125183105

可以看出这两个是最快的读写方法。另外,要让图片的读写尽量不影响训练进程,我们还可以让这两个过程与训练并行。另外,utils.save_image可以将多张图片拼接成一张来保存,具体使用方法如下:

utils.save_image(tensor = imgs,   # 要保存的多张图片张量 shape = [n, C, H, W]
         fp = 'test.jpg',  # 保存路径
         nrow = 5,     # 多图拼接时,每行所占的图片数
         padding = 1,    # 多图拼接时,每张图之间的间距
         normalize = True, # 是否进行规范化,通常输出图像用tanh,所以要用规范化 
         range = (-1,1))  # 规范化的范围

以上就是Python图像读写方法对比的详细内容,更多关于python 图像读写的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
Python常用的内置序列结构(列表、元组、字典)学习笔记
Jul 08 Python
Python SqlAlchemy动态添加数据表字段实例解析
Feb 07 Python
Python扩展内置类型详解
Mar 26 Python
PyQt4实现下拉菜单可供选择并打印出来
Apr 20 Python
Python使用re模块正则提取字符串中括号内的内容示例
Jun 01 Python
python K近邻算法的kd树实现
Sep 06 Python
Scrapy使用的基本流程与实例讲解
Oct 21 Python
python爬虫获取百度首页内容教学
Dec 23 Python
python 在某.py文件中调用其他.py内的函数的方法
Jun 25 Python
python 实现turtle画图并导出图片格式的文件
Dec 07 Python
python statsmodel的使用
Dec 21 Python
Python自动化工具之实现Excel转Markdown表格
Apr 08 Python
python3中编码获取网页的实例方法
Nov 16 #Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 #Python
Python根据URL地址下载文件并保存至对应目录的实现
Nov 15 #Python
python re的findall和finditer的区别详解
Nov 15 #Python
Python获取android设备cpu和内存占用情况
Nov 15 #Python
Python __slots__的使用方法
Nov 15 #Python
Python descriptor(描述符)的实现
Nov 15 #Python
You might like
一个php Mysql类 可以参考学习熟悉下
2009/06/21 PHP
不支持fsockopen但支持culr环境下下ucenter与modoer通讯问题
2011/08/12 PHP
Destoon模板制作简明教程
2014/06/20 PHP
PHP5.3与5.5废弃与过期函数整理汇总
2014/07/10 PHP
php 在字符串指定位置插入新字符的简单实现
2016/06/28 PHP
javascript中的变量是传值还是传址的?
2010/04/19 Javascript
IE6图片加载的一个BUG解决方法
2010/07/13 Javascript
ie浏览器使用js导出网页到excel并打印
2014/03/11 Javascript
node.js中的buffer.Buffer.byteLength方法使用说明
2014/12/10 Javascript
JavaScript对象数组的排序处理方法
2015/10/21 Javascript
快速学习jQuery插件 Form表单插件使用方法
2015/12/01 Javascript
Vue2.0 UI框架ElementUI使用方法详解
2017/04/14 Javascript
创建简单的node服务器实例(分享)
2017/06/23 Javascript
bootstrap插件treeview实现全选父节点下所有子节点和反选功能
2017/07/21 Javascript
微信小程序-滚动消息通知的实例代码
2017/08/03 Javascript
Vue 父子组件数据传递的四种方式( inheritAttrs + $attrs + $listeners)
2018/05/04 Javascript
Bootstrap Fileinput 4.4.7文件上传实例详解
2018/07/25 Javascript
解决vue中使用proxy配置不同端口和ip接口问题
2019/08/14 Javascript
微信小程序实现点击页面出现文字
2020/09/21 Javascript
[11:27]《一刀刀一天》之DOTA全时刻20:TI4总奖金突破920W TS赛事分析
2014/06/18 DOTA
跟老齐学Python之类的细节
2014/10/13 Python
python连接数据库的方法
2017/10/19 Python
Python 支付整合开发包的实现
2019/01/23 Python
python下载微信公众号相关文章
2019/02/26 Python
详解Python列表赋值复制深拷贝及5种浅拷贝
2019/05/15 Python
详解Django admin高级用法
2019/11/06 Python
PyCharm中Matplotlib绘图不能显示UI效果的问题解决
2020/03/12 Python
Python写捕鱼达人的游戏实现
2020/03/31 Python
Django分组聚合查询实例分享
2020/04/29 Python
浅谈HTML5新增及移除的元素
2016/06/27 HTML / CSS
HTML5的标签的代码的简单介绍 HTML5标签的简介
2012/05/28 HTML / CSS
青年文明号服务承诺
2014/03/31 职场文书
人事局接收函
2015/01/30 职场文书
2015年国庆节新闻稿
2015/07/18 职场文书
如何通过一篇文章了解Python中的生成器
2022/04/02 Python
Java 异步任务计算FutureTask
2022/04/28 Java/Android