Pytorch转onnx、torchscript方式


Posted in Python onMay 25, 2020

前言

本文将介绍如何使用ONNX将PyTorch中训练好的模型(.pt、.pth)型转换为ONNX格式,然后将其加载到Caffe2中。需要安装好onnx和Caffe2。

PyTorch及ONNX环境准备

为了正常运行ONNX,我们需要安装最新的Pytorch,你可以选择源码安装:

git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
mkdir build && cd build
sudo cmake .. -DPYTHON_INCLUDE_DIR=/usr/include/python3.6 -DUSE_MPI=OFF
make install
export PYTHONPATH=$PYTHONPATH:/opt/pytorch/build

其中 "/opt/pytorch/build"是前面build pytorch的目。

or conda安装

conda install pytorch torchvision -c pytorch

安装ONNX的库

conda install -c conda-forge onnx

onnx-caffe2 安装

pip3 install onnx-caffe2

Pytorch模型转onnx

在PyTorch中导出模型通过跟踪工作。要导出模型,请调用torch.onnx.export()函数。这将执行模型,记录运算符用于计算输出的轨迹。因为_export运行模型,我们需要提供输入张量x。

这个张量的值并不重要; 它可以是图像或随机张量,只要它是正确的大小。更多详细信息,请查看torch.onnx documentation文档。

# 输入模型
example = torch.randn(batch_size, 1, 224, 224, requires_grad=True)

# 导出模型
torch_out = torch_out = torch.onnx.export(model, # model being run
    example, # model input (or a tuple for multiple inputs)
    "peleeNet.onnx",
 verbose=False, # store the trained parameter weights inside the model file
 training=False,
 do_constant_folding=True,
 input_names=['input'],
 output_names=['output'])

其中torch_out是执行模型后的输出,通常以忽略此输出。转换得到onnx后可以使用OpenCV的 cv::dnn::readNetFromONNX or cv::dnn::readNet进行模型加载推理了。

还可以进一步将onnx模型转换为ncnn进而部署到移动端。这就需要ncnn的onnx2ncnn工具了.

编译ncnn源码,生成 onnx2ncnn。

其中onnx转换模型时有一些冗余,可以使用用工具简化一些onnx模型。

pip3 install onnx-simplifier

简化onnx模型

python3 -m onnxsim pnet.onnx pnet-sim.onnx

转换成ncnn

onnx2ncnn pnet-sim.onnx pnet.param pnet.bin

ncnn 加载模型做推理

Pytorch模型转torch script

pytorch 加入libtorch前端处理,集体步骤为:

Pytorch转onnx、torchscript方式

以mtcnn pnet为例

# convert pytorch model to torch script
# An example input you would normally provide to your model's forward() method.
example = torch.rand(1, 3, 12, 12).to(device)
# Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing.
traced_script_module = torch.jit.trace(pnet, example)
# Save traced model
traced_script_module.save("pnet_model_final.pth")

C++调用如下所示:

#include <torch/script.h> // One-stop header.
#include <iostream>
#include <memory>
int main(int argc, const char* argv[]) 
{
 if (argc != 2) 
 {
 std::cerr << "usage: example-app <path-to-exported-script-module>\n";
 return -1;
 }

 // Deserialize the ScriptModule from a file using torch::jit::load().
 std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]);

 assert(module != nullptr);
 std::cout << "ok\n";
}
Python 相关文章推荐
在Python的Django框架中用流响应生成CSV文件的教程
May 02 Python
Python实现的HTTP并发测试完整示例
Apr 23 Python
浅谈python中copy和deepcopy中的区别
Oct 23 Python
Python自动化运维_文件内容差异对比分析
Dec 13 Python
tensorflow实现逻辑回归模型
Sep 08 Python
OpenCV里的imshow()和Matplotlib.pyplot的imshow()的实现
Nov 25 Python
Linux下升级安装python3.8并配置pip及yum的教程
Jan 02 Python
将自己的数据集制作成TFRecord格式教程
Feb 17 Python
浅谈keras中的目标函数和优化函数MSE用法
Jun 10 Python
Python环境管理virtualenv&amp;virtualenvwrapper的配置详解
Jul 01 Python
Python用dilb提取照片上人脸的示例
Oct 26 Python
python操作ini类型配置文件的实例教程
Oct 30 Python
使用pandas库对csv文件进行筛选保存
May 25 #Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 #Python
基于pandas向csv添加新的行和列
May 25 #Python
Python如何把十进制数转换成ip地址
May 25 #Python
tensorflow模型转ncnn的操作方式
May 25 #Python
MxNet预训练模型到Pytorch模型的转换方式
May 25 #Python
浅谈pytorch 模型 .pt, .pth, .pkl的区别及模型保存方式
May 25 #Python
You might like
php获取客户端IP及URL的方法示例
2017/02/03 PHP
phpStudy配置多站点多域名方法及遇到的403错误解决方法
2017/10/19 PHP
jQuery 注意事项 与原因分析
2009/04/24 Javascript
jQuery 获取对象 定位子对象
2010/05/31 Javascript
使用jquery hover事件实现表格的隔行换色功能示例
2013/09/03 Javascript
详解Jquery实现ready和bind事件
2016/04/14 Javascript
Bootstrap中的Dropdown下拉菜单更改为悬停(hover)触发
2016/08/31 Javascript
JS日程管理插件FullCalendar中文说明文档
2017/02/06 Javascript
angularjs实现多张图片上传并预览功能
2017/02/24 Javascript
JS简单获取当前日期和农历日期的方法
2017/04/17 Javascript
使用vue和datatables进行表格的服务器端分页实例代码
2017/06/07 Javascript
jQuery使用ajax_动力节点Java学院整理
2017/07/05 jQuery
Vue路由钩子之afterEach beforeEach的区别详解
2018/07/15 Javascript
select2 ajax 设置默认值,初始值的方法
2018/08/09 Javascript
JavaScript实现五子棋游戏的方法详解
2019/07/08 Javascript
js实现小球在页面规定的区域运动
2020/06/16 Javascript
js实现简单选项卡制作
2020/08/05 Javascript
利用python编写一个图片主色转换的脚本
2017/12/07 Python
彻底搞懂 python 中文乱码问题(深入分析)
2020/02/28 Python
python实现扫雷小游戏
2020/04/24 Python
详解CSS3 用border写 空心三角箭头 (两种写法)
2017/09/29 HTML / CSS
详解Html5微信支付爬坑之路
2018/07/24 HTML / CSS
全天然狗零食:Best Bully Sticks
2016/09/22 全球购物
Nike比利时官网:Nike.com (BE)
2019/02/07 全球购物
Booking.com德国:预订最好的酒店和住宿
2020/02/16 全球购物
马来西亚排名第一的宠物用品店:Pets Wonderland
2020/04/16 全球购物
求最大连续递增数字串(如"ads3sl456789DF3456ld345AA"中的"456789")
2015/09/11 面试题
交通事故协议书范文
2014/04/16 职场文书
办公室主任四风问题对照检查材料思想汇报
2014/09/28 职场文书
2014全年工作总结
2014/11/27 职场文书
英文导游词
2015/02/13 职场文书
2015新生加入学生会自荐书
2015/03/24 职场文书
奖学金发言稿(范文)
2019/08/21 职场文书
MySQL 分组查询的优化方法
2021/05/12 MySQL
vue中 this.$set的使用详解
2021/11/17 Vue.js
Redis主从复制操作和配置详情
2022/09/23 Redis