pytorch多进程加速及代码优化方法


Posted in Python onAugust 19, 2019

目标:优化代码,利用多进程,进行近实时预处理、网络预测及后处理:

本人尝试了pytorch的multiprocessing,进行多进程同步处理以上任务。

from torch.multiprocessing import Pool,Manager

为了进行各进程间的通信,使用Queue,作为数据传输载体。

manager = Manager()
  input_queue = manager.Queue()
  output_queue = manager.Queue()

  show_queue = manager.Queue()

即将预处理进程处理后的图像放进 input_queue,而网络预测进程实时获取 input_queue队列中的数据,一旦放入,就从中取出,输入网络:

while 1:

  input = input_queue.get()

同理,将网络输出放入output_queue,再由后处理进程实时获取并进行后处理,处理后,放入show_queue

从而实现了多进程同步进行预处理、网络预测及后处理,加速了网络实时预测的表现。

问题及解决方案:

1. pytorch cuda报错,re-initialization报错问题:

习惯了在一开始将模型先加载进来放入gpu中,所以模型在主线程就完成了初始化,但是调用网络是在网络预测子进程进行的,就会导致跨进程重复初始化失败。

解决方案:

直接在子进程开始时初始化,其他进程可以设置个延时,等网络初始化好后再开始运行。

同理,数据输入网络也是同样的在子进程进行。

2. python3多进程编程,子进程不报错问题:

一开始总是代码运行起来什么都不出现,就开始各种debug,但因为python3中子进程不报错,出错了就卡在那里,就每次自己找bug很麻烦,所以就急需子进程的报错信息。

解决方案:

用try except组合,来打印子进程中某段程序错误,如下:

try:
        out = forward(input_img,model,1)
      except Exception as error:
        print(error)

3.进程完全不运行时,考虑是否是输入设置的问题,即当单变量输入时,后面要加都好,如:

pool.apply_async(load_frame,args=(input_queue,))

如果是pool.apply_async(load_frame,args=(input_queue))则该进程不会启动运行。

4. 一开始想优化cv2.resize,想用gpu下的tensor的resize_代替,但发现这种方式和numpy.resize一脉相承啊,根本不是我们想要的resize,如果是变大的话,这种resize会直接按顺序填,然后剩下的就填0,实在是太草率了。。。

解决方案:还没有很好的替代方案,只找了一下,cuda::resize,但是好像貌似没有python接口,要是混合编程好像有点小题大做,得不偿失了。如果各位有较好的方案,欢迎指点迷津。

以上这篇pytorch多进程加速及代码优化方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python天气预报采集器实现代码(网页爬虫)
Oct 07 Python
Python生成pdf文件的方法
Aug 04 Python
python实现通过代理服务器访问远程url的方法
Apr 29 Python
Python 操作文件的基本方法总结
Aug 10 Python
python的构建工具setup.py的方法使用示例
Oct 23 Python
安装好Pycharm后如何配置Python解释器简易教程
Jun 28 Python
django使用django-apscheduler 实现定时任务的例子
Jul 20 Python
django中间键重定向实例方法
Nov 10 Python
Python写出新冠状病毒确诊人数地图的方法
Feb 12 Python
Python Tornado批量上传图片并显示功能
Mar 26 Python
Python 远程开关机的方法
Nov 18 Python
浅谈盘点5种基于Python生成的个性化语音方法
Feb 05 Python
用Pytorch训练CNN(数据集MNIST,使用GPU的方法)
Aug 19 #Python
python opencv实现证件照换底功能
Aug 19 #Python
解决pytorch GPU 计算过程中出现内存耗尽的问题
Aug 19 #Python
将Pytorch模型从CPU转换成GPU的实现方法
Aug 19 #Python
pytorch 使用单个GPU与多个GPU进行训练与测试的方法
Aug 19 #Python
在pytorch中为Module和Tensor指定GPU的例子
Aug 19 #Python
pytorch使用指定GPU训练的实例
Aug 19 #Python
You might like
php获取mysql数据库中的所有表名的代码
2011/04/23 PHP
PHP中使用curl伪造IP的简单方法
2015/08/07 PHP
详解PHP5.6.30与Apache2.4.x配置
2017/06/02 PHP
php反射学习之依赖注入示例
2019/06/14 PHP
PHP读取文件,解决中文乱码UTF-8的方法分析
2020/01/22 PHP
用JavaScrpt实现文件夹简单轻松加密的实现方法图文
2008/09/08 Javascript
jquery 图片Silhouette Fadeins渐显效果
2010/02/07 Javascript
JQUERY 获取IFrame中对象及获取其父窗口中对象示例
2013/08/19 Javascript
js获取当前月的第一天和最后一天的小例子
2013/11/18 Javascript
instanceof和typeof运算符的区别详解
2014/01/06 Javascript
js实现商城星星评分的效果
2015/12/29 Javascript
JS简单实现点击复制链接的方法
2016/08/03 Javascript
纯JavaScript手写图片轮播代码
2016/10/20 Javascript
nodejs爬虫遇到的乱码问题汇总
2017/04/07 NodeJs
AngularJS $http模块POST请求实现
2017/04/08 Javascript
Angular弹出模态框的两种方式
2017/10/19 Javascript
学习使用ExpressJS 4.0中的新Router的用法
2018/11/06 Javascript
electron实现静默打印的示例代码
2019/08/12 Javascript
JavaScript实现前端倒计时效果
2021/02/09 Javascript
python关键字and和or用法实例
2015/05/28 Python
举例讲解Django中数据模型访问外键值的方法
2015/07/21 Python
在类Unix系统上开始Python3编程入门
2015/08/20 Python
Python3使用requests发闪存的方法
2016/05/11 Python
Python subprocess模块详细解读
2018/01/29 Python
python Timer 类使用介绍
2020/12/28 Python
CSS3悬停效果案例应用
2012/11/21 HTML / CSS
CSS3模拟IOS滑动开关效果
2016/09/28 HTML / CSS
CSS3贝塞尔曲线示例:创建链接悬停动画效果
2020/11/19 HTML / CSS
The Outnet亚太地区:折扣设计师时装店
2019/12/05 全球购物
北京银河万佳Java面试题
2012/03/21 面试题
一个SQL面试题
2014/08/21 面试题
签约仪式主持词
2014/03/19 职场文书
生物工程专业求职信
2014/09/03 职场文书
飞屋环游记观后感
2015/06/08 职场文书
导游词之千岛湖
2019/09/23 职场文书
不负正版帝国之名 《重返帝国》引领SLG手游制作新的标杆
2022/04/07 其他游戏