python频繁写入文件时提速的方法


Posted in Python onJune 26, 2019

问题背景:有一批需要处理的文件,对于每一个文件,都需要调用同一个函数进行处理,相当耗时。

有没有加速的办法呢?当然有啦,比如说你将这些文件分成若干批,每一个批次都调用自己写的python脚本进行处理,这样同时运行若干个python程序也可以进行加速。

有没有更简单的方法呢?比如说,我一个运行的一个程序里面,同时分为多个线程,然后进行处理?

大概思路:将这些个文件路径的list,分成若干个,至于分成多少,要看自己cpu核心有多少,比如你的cpu有32核的,理论上就可以加速32倍。

代码如下:

# -*-coding:utf-8-*-

import numpy as np

from glob import glob

import math

import os

import torch

from tqdm import tqdm

import multiprocessing

label_path = '/home/ying/data/shiyongjie/distortion_datasets/new_distortion_dataset/train/label.txt'

file_path = '/home/ying/data/shiyongjie/distortion_datasets/new_distortion_dataset/train/distortion_image'

save_path = '/home/ying/data/shiyongjie/distortion_datasets/new_distortion_dataset/train/flow_field'

r_d_max = 128

image_index = 0

txt_file = open(label_path)

file_list = txt_file.readlines()

txt_file.close()

file_label = {}

for i in file_list:

  i = i.split()

  file_label[i[0]] = i[1]

r_d_max = 128

eps = 1e-32

H = 256

W = 256

def generate_flow_field(image_list):

  for image_file_path in ((image_list)):

    pixel_flow = np.zeros(shape=tuple([256, 256, 2])) # 按照pytorch中的grid来写

    image_file_name = os.path.basename(image_file_path)

    # print(image_file_name)

    k = float(file_label[image_file_name])*(-1)*1e-7

    # print(k)

    r_u_max = r_d_max/(1+k*r_d_max**2) # 计算出畸变校正之后的对角线的理论长度

    scale = r_u_max/128 # 将这个长度压缩到256的尺寸,会有一个scale,实际上这里写128*sqrt(2)可能会更加直观

    for i_u in range(256):

      for j_u in range(256):

        x_u = float(i_u - 128)

        y_u = float(128 - j_u)

        theta = math.atan2(y_u, x_u)

        r = math.sqrt(x_u ** 2 + y_u ** 2)

        r = r * scale # 实际上得到的r,即没有resize到256×256的图像尺寸size,并且带入公式中

        r_d = (1.0 - math.sqrt(1 - 4.0 * k * r ** 2)) / (2 * k * r + eps) # 对应在原图(畸变图)中的r

        x_d = int(round(r_d * math.cos(theta)))

        y_d = int(round(r_d * math.sin(theta)))

        i_d = int(x_d + W / 2.0)

        j_d = int(H / 2.0 - y_d)

        if i_d < W and i_d >= 0 and j_d < H and j_d >= 0: # 只有求的的畸变点在原图中的时候才进行赋值

          value1 = (i_d - 128.0)/128.0

          value2 = (j_d - 128.0)/128.0

          pixel_flow[j_u, i_u, 0] = value1 # mesh中存储的是对应的r的比值,在进行畸变校正的时候,给定一张这样的图,进行找像素即可

          pixel_flow[j_u, i_u, 1] = value2

# 保存成array格式

    saved_image_file_path = os.path.join(save_path, image_file_name.split('.')[0] + '.npy')

    pixel_flow = pixel_flow.astype('f2') # 将数据的格式转换成float16类型, 节省空间

    # print(saved_image_file_path)

    # print(pixel_flow)

    np.save(saved_image_file_path, pixel_flow)

  return

if __name__ == '__main__':

  file_list = glob(file_path + '/*.JPEG')

  m = 32

  n = int(math.ceil(len(file_list) / float(m))) # 向上取整

  result = []

  pool = multiprocessing.Pool(processes=m) # 32进程

  for i in range(0, len(file_list), n):

    result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],)))

  pool.close()

  pool.join()

在上面的代码中,函数

generate_flow_field(image_list)

需要传入一个list,然后对于这个list进行操作,之后对操作的结果进行保存

所以,只需要将你需要处理的多个文件,切分成尽量等大小的list,然后再对每一个list,开一个线程进行处理即可

上面的主函数:

if __name__ == '__main__':

  file_list = glob(file_path + '/*.JPEG') # 将文件夹下所有的JPEG文件列成一个list

  m = 32 # 假设CPU有32个核心

  n = int(math.ceil(len(file_list) / float(m))) # 每一个核心需要处理的list的数目

  result = []

  pool = multiprocessing.Pool(processes=m) # 开32线程的线程池

  for i in range(0, len(file_list), n):

    result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],))) # 对每一个list都用上面我们定义的函数进行处理

  pool.close() # 处理结束之后,关闭线程池

  pool.join()

主要是这样的两行代码,一行是

pool = multiprocessing.Pool(processes=m) # 开32线程的线程池

用来开辟线程池

另外一行是

result.append(pool.apply_async(generate_flow_field, (file_list[i: i+n],))) # 对每一个list都用上面我们定义的函数进行处理

对于线程池,用apply_async()同时跑generate_flow_field这个函数,传入的参数是:file_list[i: i+n]

实际上apply_async()这个函数的作用是所有的线程同时跑,速度是比较快的。

扩展:

Python文件处理之文件写入方式与写缓存来提高速度和效率

Python的open的写入方式有:

write(str):将str写入文件

writelines(sequence of strings):写多行到文件,参数为可迭代对象

f = open('blogCblog.txt', 'w') #首先先创建一个文件对象,打开方式为w
f.writelines('123456') #用readlines()方法写入文件

运行上面结果之后,可以看到blogCblog.txt文件有123456内容,这里需要注意的是,mode为‘w'模式(写模式),再来看下面代码:

f = open('blogCblog.txt', 'w') #首先先创建一个文件对象,打开方式为w
f.writelines(123456) #用readlines()方法写入文件

运行上面代码之后会报一个TypeError,这是因为writelines传入的参数并不是一个可迭代的对象。

以上就是关于python频繁写入文件怎么提速的相关知识点以及扩展内容,感谢大家的阅读。

Python 相关文章推荐
Python实现二分法算法实例
Feb 02 Python
深入解析Python编程中super关键字的用法
Jun 24 Python
Python 实现数据库(SQL)更新脚本的生成方法
Jul 09 Python
一文总结学习Python的14张思维导图
Oct 17 Python
Python实现二维数组输出为图片
Apr 03 Python
Python版名片管理系统
Nov 30 Python
通过Python编写一个简单登录功能过程解析
Sep 04 Python
将keras的h5模型转换为tensorflow的pb模型操作
May 25 Python
基于python实现音乐播放器代码实例
Jul 01 Python
Matplotlib 绘制饼图解决文字重叠的方法
Jul 24 Python
Python grequests模块使用场景及代码实例
Aug 10 Python
Python OpenCV快速入门教程
Apr 17 Python
Python中查看变量的类型内存地址所占字节的大小
Jun 26 #Python
使用python的pandas为你的股票绘制趋势图
Jun 26 #Python
python安装scipy的方法步骤
Jun 26 #Python
Python3.5以上版本lxml导入etree报错的解决方案
Jun 26 #Python
如何通过python画loss曲线的方法
Jun 26 #Python
python and or用法详解
Jun 26 #Python
python覆盖写入,追加写入的实例
Jun 26 #Python
You might like
关于mysql字符集设置了character_set_client=binary 在gbk情况下会出现表描述是乱码的情况
2013/01/06 PHP
destoon在360浏览器下出现用户被强行注销的解决方法
2014/06/26 PHP
PHP is_array() 检测变量是否是数组的实现方法
2016/06/13 PHP
Laravel框架实现调用百度翻译API功能示例
2019/05/30 PHP
JavaScript 中的事件教程
2007/04/05 Javascript
jQuery 插件 将this下的div轮番显示
2009/04/09 Javascript
理解Javascript_13_执行模型详解
2010/10/20 Javascript
javascript中String类的subString()方法和slice()方法
2011/05/24 Javascript
jQuery 源码分析笔记(6) jQuery.data
2011/06/08 Javascript
jquery 模板的应用示例
2013/11/12 Javascript
javascript实现文本域写入字符时限定字数
2014/02/12 Javascript
使用变量动态设置js的属性名
2014/10/19 Javascript
javascript中的遍历for in 以及with的用法
2014/12/22 Javascript
JavaScript中的数学运算介绍
2014/12/29 Javascript
老司机带你解读jQuery插件开发流程
2016/05/16 Javascript
JavaScript 闭包详细介绍
2016/09/28 Javascript
js制作支付倒计时页面
2016/10/21 Javascript
Reactjs实现通用分页组件的实例代码
2017/01/19 Javascript
详解打造 Vue.js 可复用组件
2017/03/24 Javascript
vue router2.0二级路由的简单使用
2017/07/05 Javascript
js异步编程小技巧详解
2017/08/14 Javascript
p5.js入门教程之鼠标交互的示例
2018/03/16 Javascript
vue 不使用select实现下拉框功能(推荐)
2018/05/17 Javascript
vue初始化动画加载的实例
2018/09/01 Javascript
vue 解决computed修改data数据的问题
2019/11/06 Javascript
uni-app使用countdown插件实现倒计时
2020/11/01 Javascript
Python读写Excel文件方法介绍
2014/11/22 Python
pandas中DataFrame修改index、columns名的方法示例
2019/08/02 Python
Django结合ajax进行页面实时更新的例子
2019/08/12 Python
Python requests模块cookie实例解析
2020/04/14 Python
Python OpenCV去除字母后面的杂线操作
2020/07/05 Python
英国最大的运动营养公司之一:LA Muscle
2018/07/02 全球购物
2015年小学数学教师工作总结
2015/05/20 职场文书
学习习近平主席讲话心得体会
2016/01/20 职场文书
2016年度基层党建工作公开承诺书
2016/03/25 职场文书
详解Java实践之建造者模式
2021/06/18 Java/Android