pytorch多进程加速及代码优化方法


Posted in Python onAugust 19, 2019

目标:优化代码,利用多进程,进行近实时预处理、网络预测及后处理:

本人尝试了pytorch的multiprocessing,进行多进程同步处理以上任务。

from torch.multiprocessing import Pool,Manager

为了进行各进程间的通信,使用Queue,作为数据传输载体。

manager = Manager()
  input_queue = manager.Queue()
  output_queue = manager.Queue()

  show_queue = manager.Queue()

即将预处理进程处理后的图像放进 input_queue,而网络预测进程实时获取 input_queue队列中的数据,一旦放入,就从中取出,输入网络:

while 1:

  input = input_queue.get()

同理,将网络输出放入output_queue,再由后处理进程实时获取并进行后处理,处理后,放入show_queue

从而实现了多进程同步进行预处理、网络预测及后处理,加速了网络实时预测的表现。

问题及解决方案:

1. pytorch cuda报错,re-initialization报错问题:

习惯了在一开始将模型先加载进来放入gpu中,所以模型在主线程就完成了初始化,但是调用网络是在网络预测子进程进行的,就会导致跨进程重复初始化失败。

解决方案:

直接在子进程开始时初始化,其他进程可以设置个延时,等网络初始化好后再开始运行。

同理,数据输入网络也是同样的在子进程进行。

2. python3多进程编程,子进程不报错问题:

一开始总是代码运行起来什么都不出现,就开始各种debug,但因为python3中子进程不报错,出错了就卡在那里,就每次自己找bug很麻烦,所以就急需子进程的报错信息。

解决方案:

用try except组合,来打印子进程中某段程序错误,如下:

try:
        out = forward(input_img,model,1)
      except Exception as error:
        print(error)

3.进程完全不运行时,考虑是否是输入设置的问题,即当单变量输入时,后面要加都好,如:

pool.apply_async(load_frame,args=(input_queue,))

如果是pool.apply_async(load_frame,args=(input_queue))则该进程不会启动运行。

4. 一开始想优化cv2.resize,想用gpu下的tensor的resize_代替,但发现这种方式和numpy.resize一脉相承啊,根本不是我们想要的resize,如果是变大的话,这种resize会直接按顺序填,然后剩下的就填0,实在是太草率了。。。

解决方案:还没有很好的替代方案,只找了一下,cuda::resize,但是好像貌似没有python接口,要是混合编程好像有点小题大做,得不偿失了。如果各位有较好的方案,欢迎指点迷津。

以上这篇pytorch多进程加速及代码优化方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中lambda函数 list comprehension 和 zip函数使用指南
Sep 28 Python
python getopt详解及简单实例
Dec 30 Python
python解决汉字编码问题:Unicode Decode Error
Jan 19 Python
在scrapy中使用phantomJS实现异步爬取的方法
Dec 17 Python
Python单元测试unittest的具体使用示例
Dec 17 Python
Django 日志配置按日期滚动的方法
Jan 31 Python
django框架事务处理小结【ORM 事务及raw sql,customize sql 事务处理】
Jun 27 Python
使用TensorFlow直接获取处理MNIST数据方式
Feb 10 Python
Django 404、500页面全局配置知识点详解
Mar 10 Python
Python如何操作office实现自动化及win32com.client的运用
Apr 01 Python
Python3与fastdfs分布式文件系统如何实现交互
Jun 23 Python
教你一分钟在win10终端成功安装Pytorch的方法步骤
Jan 28 Python
用Pytorch训练CNN(数据集MNIST,使用GPU的方法)
Aug 19 #Python
python opencv实现证件照换底功能
Aug 19 #Python
解决pytorch GPU 计算过程中出现内存耗尽的问题
Aug 19 #Python
将Pytorch模型从CPU转换成GPU的实现方法
Aug 19 #Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
Aug 19 #Python
在pytorch中为Module和Tensor指定GPU的例子
Aug 19 #Python
pytorch使用指定GPU训练的实例
Aug 19 #Python
You might like
PHP一个简单的无需刷新爬虫
2019/01/05 PHP
php curl发送请求实例方法
2019/08/01 PHP
jQuery+PHP实现图片上传并提交功能
2020/07/27 PHP
加载 Javascript 最佳实践
2011/10/30 Javascript
jquery图片延迟加载 前端开发技能必备系列
2012/06/18 Javascript
JS截取字符串常用方法整理及使用示例
2013/10/18 Javascript
js抽奖实现随机抽奖代码效果
2013/12/02 Javascript
javascript中声明函数的方法及调用函数的返回值
2014/07/22 Javascript
jQuery事件绑定和委托实例
2014/11/25 Javascript
JS实现霓虹灯文字效果的方法
2015/08/06 Javascript
JavaScript实现将文本框的值插入指定位置的方法
2015/08/13 Javascript
详解AngularJS验证、过滤器、指令
2017/01/04 Javascript
浅谈angularjs依赖服务注入写法的注意点
2017/04/24 Javascript
angularjs中ng-bind-html的用法总结
2017/05/23 Javascript
解决webpack无法通过IP地址访问localhost的问题
2018/02/22 Javascript
angularjs select 赋值 ng-options配置方法
2018/02/28 Javascript
使用Angular Cli如何创建Angular私有库详解
2019/01/30 Javascript
node.js中express模块创建服务器和http模块客户端发请求
2019/03/06 Javascript
vue中组件的3种使用方式详解
2019/03/23 Javascript
JS检索下拉列表框中被选项目的索引号(selectedIndex)
2019/12/17 Javascript
js原生map实现的方法总结
2020/01/19 Javascript
Vue过滤器,生命周期函数和vue-resource简单介绍
2021/01/12 Vue.js
Python3处理文件中每个词的方法
2015/05/22 Python
Python文件读写保存操作的示例代码
2018/09/14 Python
python的pytest框架之命令行参数详解(上)
2019/06/27 Python
python selenium 执行完毕关闭chromedriver进程示例
2019/11/15 Python
解决pyshp UnicodeDecodeError的问题
2019/12/06 Python
Python 内置变量和函数的查看及说明介绍
2019/12/25 Python
css3模拟jq点击事件的实例代码
2017/07/06 HTML / CSS
美国Rue La La闪购网站:奢侈品、中高档品牌限时折扣
2016/10/19 全球购物
NFL墨西哥官方商店:Tienda NFL
2017/11/28 全球购物
日本最大美瞳直送网:Morecontact(中文)
2019/04/03 全球购物
会计自我鉴定
2013/11/02 职场文书
中职毕业生自我鉴定
2014/09/13 职场文书
2015年创先争优活动总结
2015/03/27 职场文书
Python还能这么玩之只用30行代码从excel提取个人值班表
2021/06/05 Python