pytorch多进程加速及代码优化方法


Posted in Python onAugust 19, 2019

目标:优化代码,利用多进程,进行近实时预处理、网络预测及后处理:

本人尝试了pytorch的multiprocessing,进行多进程同步处理以上任务。

from torch.multiprocessing import Pool,Manager

为了进行各进程间的通信,使用Queue,作为数据传输载体。

manager = Manager()
  input_queue = manager.Queue()
  output_queue = manager.Queue()

  show_queue = manager.Queue()

即将预处理进程处理后的图像放进 input_queue,而网络预测进程实时获取 input_queue队列中的数据,一旦放入,就从中取出,输入网络:

while 1:

  input = input_queue.get()

同理,将网络输出放入output_queue,再由后处理进程实时获取并进行后处理,处理后,放入show_queue

从而实现了多进程同步进行预处理、网络预测及后处理,加速了网络实时预测的表现。

问题及解决方案:

1. pytorch cuda报错,re-initialization报错问题:

习惯了在一开始将模型先加载进来放入gpu中,所以模型在主线程就完成了初始化,但是调用网络是在网络预测子进程进行的,就会导致跨进程重复初始化失败。

解决方案:

直接在子进程开始时初始化,其他进程可以设置个延时,等网络初始化好后再开始运行。

同理,数据输入网络也是同样的在子进程进行。

2. python3多进程编程,子进程不报错问题:

一开始总是代码运行起来什么都不出现,就开始各种debug,但因为python3中子进程不报错,出错了就卡在那里,就每次自己找bug很麻烦,所以就急需子进程的报错信息。

解决方案:

用try except组合,来打印子进程中某段程序错误,如下:

try:
        out = forward(input_img,model,1)
      except Exception as error:
        print(error)

3.进程完全不运行时,考虑是否是输入设置的问题,即当单变量输入时,后面要加都好,如:

pool.apply_async(load_frame,args=(input_queue,))

如果是pool.apply_async(load_frame,args=(input_queue))则该进程不会启动运行。

4. 一开始想优化cv2.resize,想用gpu下的tensor的resize_代替,但发现这种方式和numpy.resize一脉相承啊,根本不是我们想要的resize,如果是变大的话,这种resize会直接按顺序填,然后剩下的就填0,实在是太草率了。。。

解决方案:还没有很好的替代方案,只找了一下,cuda::resize,但是好像貌似没有python接口,要是混合编程好像有点小题大做,得不偿失了。如果各位有较好的方案,欢迎指点迷津。

以上这篇pytorch多进程加速及代码优化方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python内置函数dir详解
Apr 14 Python
在Python中操作字典之update()方法的使用
May 22 Python
两个命令把 Vim 打造成 Python IDE的方法
Mar 20 Python
Python实现将doc转化pdf格式文档的方法
Jan 19 Python
Python http接口自动化测试框架实现方法示例
Dec 06 Python
对python tkinter窗口弹出置顶的方法详解
Jun 14 Python
python实现控制电脑鼠标和键盘,登录QQ的方法示例
Jul 06 Python
django用户登录验证的完整示例代码
Jul 21 Python
tf.concat中axis的含义与使用详解
Feb 07 Python
Python导入模块包原理及相关注意事项
Mar 25 Python
使用K.function()调试keras操作
Jun 17 Python
python 匿名函数与三元运算学习笔记
Oct 23 Python
用Pytorch训练CNN(数据集MNIST,使用GPU的方法)
Aug 19 #Python
python opencv实现证件照换底功能
Aug 19 #Python
解决pytorch GPU 计算过程中出现内存耗尽的问题
Aug 19 #Python
将Pytorch模型从CPU转换成GPU的实现方法
Aug 19 #Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
Aug 19 #Python
在pytorch中为Module和Tensor指定GPU的例子
Aug 19 #Python
pytorch使用指定GPU训练的实例
Aug 19 #Python
You might like
php生成扇形比例图实例
2013/11/06 PHP
Drupal7中常用的数据库操作实例
2014/03/02 PHP
php语言中使用json的技巧及json的实现代码详解
2015/10/27 PHP
TP5框架简单登录功能实现方法示例
2019/10/31 PHP
Save a File Using a File Save Dialog Box
2007/06/18 Javascript
JavaScript中的原型prototype属性使用详解
2015/06/05 Javascript
jQuery 监控键盘一段时间没输入
2016/04/22 Javascript
微信小程序 数据交互与渲染实例详解
2017/01/21 Javascript
微信小程序 动态的设置图片的高度和宽度详解及实例代码
2017/02/24 Javascript
JS实现给json数组动态赋值的方法示例
2020/03/19 Javascript
基于zTree树形菜单的使用实例
2017/12/25 Javascript
JavaScript数据结构与算法之二叉树添加/删除节点操作示例
2019/03/01 Javascript
怎样使你的 JavaScript 代码简单易读(推荐)
2019/04/16 Javascript
Vue安装浏览器开发工具的步骤详解
2019/05/12 Javascript
layui在form表单页面通过Validform加入简单验证的方法
2019/09/06 Javascript
用Python实现web端用户登录和注册功能的教程
2015/04/30 Python
Python爬虫番外篇之Cookie和Session详解
2017/12/27 Python
Python 数据处理库 pandas 入门教程基本操作
2018/04/19 Python
详解Django 中是否使用时区的区别
2018/06/14 Python
python中sys.argv函数精简概括
2018/07/08 Python
Python selenium根据class定位页面元素的方法
2019/02/26 Python
Python中一些深不见底的“坑”
2019/06/12 Python
python3 requests库文件上传与下载实现详解
2019/08/22 Python
通过python3实现投票功能代码实例
2019/09/26 Python
pandas中的数据去重处理的实现方法
2020/02/10 Python
python将音频进行变速的操作方法
2020/04/08 Python
Html5实现单张、多张图片上传功能
2019/04/28 HTML / CSS
计算机专业优秀大学生自我总结
2014/01/21 职场文书
老师对学生的评语
2014/04/18 职场文书
分公司任命书
2014/06/06 职场文书
六查六看剖析材料
2014/10/06 职场文书
个人工作总结范文2014
2014/11/07 职场文书
2016年法制宣传月活动总结
2016/04/01 职场文书
2016年主题党日活动总结
2016/04/05 职场文书
入门学习Go的基本语法
2021/07/07 Golang
Python绘制散乱的点构成的图的方法
2022/04/21 Python