Python图像读写方法对比


Posted in Python onNovember 16, 2020

1  实验标准

因为训练使用的框架是Pytorch,因此读取的实验标准如下:

1、读取分辨率都为1920x1080的5张图片(png格式一张,jpg格式四张)并保存到数组。

2、将读取的数组转换为维度顺序为CxHxW的Pytorch张量,并保存到显存中(我使用GPU训练),其中三个通道的顺序为RGB。

3、记录各个方法在以上操作中所耗费的时间。因为png格式的图片大小差不多是质量有微小差异的jpg格式的10倍,所以数据集通常不会用png来保存,就不比较这两种格式的读取时间差异了。

写入的实验标准如下:

1、将5张1920x1080的5张图像对应的Pytorch张量转换为对应方法可使用的数据类型数组。

2、以jpg格式保存五张图片。

3、记录各个方法保存图片所耗费的时间。

2  实验情况

2.1  cv2

因为有GPU,所以cv2读取图片有两种方式:

1、先把图片都读取为一个numpy数组,再转换成保存在GPU中的pytorch张量。

2、初始化一个保存在GPU中的pytorch张量,然后将每张图直接复制进这个张量中。

第一种方式实验代码如下:

import os, torch
import cv2 as cv 
import numpy as np 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# cv2读取 1
start_t = time()
imgs = np.zeros([5, 1080, 1920, 3])
for img, i in zip(os.listdir(read_path), range(5)): 
 img = cv.imread(filename=os.path.join(read_path, img))
 imgs[i] = img 
imgs = torch.tensor(imgs).to('cuda')[...,[2,1,0]].permute([0,3,1,2])/255 
print('cv2 读取时间1:', time() - start_t) 
# cv2保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])[...,[2,1,0]]*255).cpu().numpy()
for i in range(imgs.shape[0]): 
 cv.imwrite(write_path + str(i) + '.jpg', imgs[i])
print('cv2 保存时间:', time() - start_t)

 实验结果:

cv2 读取时间1: 0.39693760871887207
cv2 保存时间: 0.3560612201690674

第二种方式实验代码如下:

import os, torch
import cv2 as cv 
import numpy as np 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
 
# cv2读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(cv.imread(filename=os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs[...,[2,1,0]].permute([0,3,1,2])/255 
print('cv2 读取时间2:', time() - start_t) 
# cv2保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])[...,[2,1,0]]*255).cpu().numpy()
for i in range(imgs.shape[0]): 
 cv.imwrite(write_path + str(i) + '.jpg', imgs[i])
print('cv2 保存时间:', time() - start_t)

实验结果:

cv2 读取时间2: 0.23636841773986816
cv2 保存时间: 0.3066873550415039

2.2  matplotlib

同样两种读取方式,第一种代码如下:

import os, torch 
import numpy as np
import matplotlib.pyplot as plt 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 1
start_t = time()
imgs = np.zeros([5, 1080, 1920, 3])
for img, i in zip(os.listdir(read_path), range(5)): 
 img = plt.imread(os.path.join(read_path, img)) 
 imgs[i] = img  
imgs = torch.tensor(imgs).to('cuda').permute([0,3,1,2])/255 
print('matplotlib 读取时间1:', time() - start_t) 
# matplotlib 保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])).cpu().numpy()
for i in range(imgs.shape[0]): 
 plt.imsave(write_path + str(i) + '.jpg', imgs[i])
print('matplotlib 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间1: 0.45380306243896484
matplotlib 保存时间: 0.768944263458252

第二种方式实验代码:

import os, torch 
import numpy as np
import matplotlib.pyplot as plt 
from time import time 
 
read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(plt.imread(os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs.permute([0,3,1,2])/255 
print('matplotlib 读取时间2:', time() - start_t) 
# matplotlib 保存
start_t = time()
imgs = (imgs.permute([0,2,3,1])).cpu().numpy()
for i in range(imgs.shape[0]): 
 plt.imsave(write_path + str(i) + '.jpg', imgs[i])
print('matplotlib 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间2: 0.2044532299041748
matplotlib 保存时间: 0.4737534523010254

需要注意的是,matplotlib读取png格式图片获取的数组的数值是在[0,1][0,1]范围内的浮点数,而jpg格式图片却是在[0,255][0,255]范围内的整数。所以如果数据集内图片格式不一致,要注意先转换为一致再读取,否则数据集的预处理就麻烦了。

2.3  PIL

PIL的读取与写入并不能直接使用pytorch张量或numpy数组,要先转换为Image类型,所以很麻烦,时间复杂度上肯定也是占下风的,就不实验了。

2.4  torchvision

torchvision提供了直接从pytorch张量保存图片的功能,和上面读取最快的matplotlib的方法结合,代码如下:

import os, torch 
import matplotlib.pyplot as plt 
from time import time 
from torchvision import utils 

read_path = 'D:test'
write_path = 'D:test\\write\\'
 
# matplotlib 读取 2
start_t = time()
imgs = torch.zeros([5, 1080, 1920, 3], device='cuda')
for img, i in zip(os.listdir(read_path), range(5)): 
 img = torch.tensor(plt.imread(os.path.join(read_path, img)), device='cuda')
 imgs[i] = img  
imgs = imgs.permute([0,3,1,2])/255 
print('matplotlib 读取时间2:', time() - start_t) 
# torchvision 保存
start_t = time() 
for i in range(imgs.shape[0]):  
 utils.save_image(imgs[i], write_path + str(i) + '.jpg')
print('torchvision 保存时间:', time() - start_t)

实验结果:

matplotlib 读取时间2: 0.15358829498291016
torchvision 保存时间: 0.14760661125183105

可以看出这两个是最快的读写方法。另外,要让图片的读写尽量不影响训练进程,我们还可以让这两个过程与训练并行。另外,utils.save_image可以将多张图片拼接成一张来保存,具体使用方法如下:

utils.save_image(tensor = imgs,   # 要保存的多张图片张量 shape = [n, C, H, W]
         fp = 'test.jpg',  # 保存路径
         nrow = 5,     # 多图拼接时,每行所占的图片数
         padding = 1,    # 多图拼接时,每张图之间的间距
         normalize = True, # 是否进行规范化,通常输出图像用tanh,所以要用规范化 
         range = (-1,1))  # 规范化的范围

以上就是Python图像读写方法对比的详细内容,更多关于python 图像读写的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python写的一个文本编辑器
Jan 23 Python
python实现文件名批量替换和内容替换
Mar 20 Python
在Python的Flask中使用WTForms表单框架的基础教程
Jun 07 Python
python中numpy基础学习及进行数组和矢量计算
Feb 12 Python
matplotlib设置legend图例代码示例
Dec 19 Python
python实现m3u8格式转换为mp4视频格式
Feb 28 Python
python2.7安装图文教程
Mar 13 Python
python统计多维数组的行数和列数实例
Jun 23 Python
python多进程使用及线程池的使用方法代码详解
Oct 24 Python
python通过ffmgep从视频中抽帧的方法
Dec 05 Python
详解Python绘图Turtle库
Oct 12 Python
keras中的卷积层&池化层的用法
May 22 Python
python3中编码获取网页的实例方法
Nov 16 #Python
Python3中小括号()、中括号[]、花括号{}的区别详解
Nov 15 #Python
Python根据URL地址下载文件并保存至对应目录的实现
Nov 15 #Python
python re的findall和finditer的区别详解
Nov 15 #Python
Python获取android设备cpu和内存占用情况
Nov 15 #Python
Python __slots__的使用方法
Nov 15 #Python
Python descriptor(描述符)的实现
Nov 15 #Python
You might like
利用PHP创建动态图像
2006/10/09 PHP
php抓取https的内容的代码
2010/04/06 PHP
php使用curl存储cookie的示例
2014/03/31 PHP
codeigniter实现get分页的方法
2015/07/10 PHP
2017年最好用的9个php开发工具推荐(超好用)
2017/10/23 PHP
PHP+Ajax实现上传文件进度条动态显示进度功能
2018/06/04 PHP
js操作select控件的几种方法
2010/06/02 Javascript
jqGrid随窗口大小变化自适应大小的示例代码
2013/12/28 Javascript
jquery 实现两级导航菜单附效果图
2014/03/07 Javascript
jQuery select表单提交省市区城市三级联动核心代码
2014/06/09 Javascript
js实现字符串和数组之间相互转换操作
2016/01/12 Javascript
Javascript实现图片懒加载插件的方法
2016/10/20 Javascript
jquery实现输入框实时输入触发事件代码
2016/12/21 Javascript
JS基于面向对象实现的多个倒计时器功能示例
2017/02/28 Javascript
Javascript实现一个简单的输入关键字添加标签效果实例
2017/06/01 Javascript
bootstrap confirmation按钮提示组件使用详解
2017/08/22 Javascript
深入理解Vuex 模块化(module)
2017/09/26 Javascript
详解webpack-dev-server使用http-proxy解决跨域问题
2018/01/13 Javascript
JS获取浏览器地址栏的多个参数值的任意值实例代码
2018/07/24 Javascript
JS 数组基本用法入门示例解析
2020/01/16 Javascript
用vue 实现手机触屏滑动功能
2020/05/28 Javascript
[01:01:31]2018DOTA2亚洲邀请赛3月29日小组赛B组 Mineski VS paiN
2018/03/30 DOTA
[47:31]完美世界DOTA2联赛PWL S3 INK ICE vs DLG 第一场 12.12
2020/12/16 DOTA
python逐行读取文件内容的三种方法
2014/01/20 Python
在Python中使用cookielib和urllib2配合PyQuery抓取网页信息
2015/04/25 Python
python中异常报错处理方法汇总
2016/11/20 Python
使用NumPy读取MNIST数据的实现代码示例
2019/11/20 Python
Python描述符descriptor使用原理解析
2020/03/21 Python
英国男士时尚购物网站:Stuarts London
2017/10/22 全球购物
美国非常受欢迎的Spa品牌:Bliss必列斯
2018/04/10 全球购物
Stührling手表官方网站:男女高品质时尚手表的领先零售商
2021/01/07 全球购物
年终考核评语
2014/01/19 职场文书
中学家长会邀请函
2014/02/03 职场文书
人民教师求职自荐信
2014/03/12 职场文书
优秀教师申报材料
2014/12/16 职场文书
医院科室评语
2015/01/04 职场文书