Pytorch转onnx、torchscript方式


Posted in Python onMay 25, 2020

前言

本文将介绍如何使用ONNX将PyTorch中训练好的模型(.pt、.pth)型转换为ONNX格式,然后将其加载到Caffe2中。需要安装好onnx和Caffe2。

PyTorch及ONNX环境准备

为了正常运行ONNX,我们需要安装最新的Pytorch,你可以选择源码安装:

git clone --recursive https://github.com/pytorch/pytorch
cd pytorch
mkdir build && cd build
sudo cmake .. -DPYTHON_INCLUDE_DIR=/usr/include/python3.6 -DUSE_MPI=OFF
make install
export PYTHONPATH=$PYTHONPATH:/opt/pytorch/build

其中 "/opt/pytorch/build"是前面build pytorch的目。

or conda安装

conda install pytorch torchvision -c pytorch

安装ONNX的库

conda install -c conda-forge onnx

onnx-caffe2 安装

pip3 install onnx-caffe2

Pytorch模型转onnx

在PyTorch中导出模型通过跟踪工作。要导出模型,请调用torch.onnx.export()函数。这将执行模型,记录运算符用于计算输出的轨迹。因为_export运行模型,我们需要提供输入张量x。

这个张量的值并不重要; 它可以是图像或随机张量,只要它是正确的大小。更多详细信息,请查看torch.onnx documentation文档。

# 输入模型
example = torch.randn(batch_size, 1, 224, 224, requires_grad=True)

# 导出模型
torch_out = torch_out = torch.onnx.export(model, # model being run
    example, # model input (or a tuple for multiple inputs)
    "peleeNet.onnx",
 verbose=False, # store the trained parameter weights inside the model file
 training=False,
 do_constant_folding=True,
 input_names=['input'],
 output_names=['output'])

其中torch_out是执行模型后的输出,通常以忽略此输出。转换得到onnx后可以使用OpenCV的 cv::dnn::readNetFromONNX or cv::dnn::readNet进行模型加载推理了。

还可以进一步将onnx模型转换为ncnn进而部署到移动端。这就需要ncnn的onnx2ncnn工具了.

编译ncnn源码,生成 onnx2ncnn。

其中onnx转换模型时有一些冗余,可以使用用工具简化一些onnx模型。

pip3 install onnx-simplifier

简化onnx模型

python3 -m onnxsim pnet.onnx pnet-sim.onnx

转换成ncnn

onnx2ncnn pnet-sim.onnx pnet.param pnet.bin

ncnn 加载模型做推理

Pytorch模型转torch script

pytorch 加入libtorch前端处理,集体步骤为:

Pytorch转onnx、torchscript方式

以mtcnn pnet为例

# convert pytorch model to torch script
# An example input you would normally provide to your model's forward() method.
example = torch.rand(1, 3, 12, 12).to(device)
# Use torch.jit.trace to generate a torch.jit.ScriptModule via tracing.
traced_script_module = torch.jit.trace(pnet, example)
# Save traced model
traced_script_module.save("pnet_model_final.pth")

C++调用如下所示:

#include <torch/script.h> // One-stop header.
#include <iostream>
#include <memory>
int main(int argc, const char* argv[]) 
{
 if (argc != 2) 
 {
 std::cerr << "usage: example-app <path-to-exported-script-module>\n";
 return -1;
 }

 // Deserialize the ScriptModule from a file using torch::jit::load().
 std::shared_ptr<torch::jit::script::Module> module = torch::jit::load(argv[1]);

 assert(module != nullptr);
 std::cout << "ok\n";
}
Python 相关文章推荐
python实现监控windows服务并自动启动服务示例
Apr 17 Python
Python使用reportlab将目录下所有的文本文件打印成pdf的方法
May 20 Python
python脚本内运行linux命令的方法
Jul 02 Python
Python批量提取PDF文件中文本的脚本
Mar 14 Python
查看TensorFlow checkpoint文件中的变量名和对应值方法
Jun 14 Python
python 读取.csv文件数据到数组(矩阵)的实例讲解
Jun 14 Python
Opencv+Python实现图像运动模糊和高斯模糊的示例
Apr 11 Python
Python占用的内存优化教程
Jul 28 Python
基于keras输出中间层结果的2种实现方式
Jan 24 Python
pycharm如何实现跨目录调用文件
Feb 28 Python
Python实现鼠标自动在屏幕上随机移动功能
Mar 14 Python
深入理解Python变量的数据类型和存储
Feb 01 Python
使用pandas库对csv文件进行筛选保存
May 25 #Python
pytorch中 gpu与gpu、gpu与cpu 在load时相互转化操作
May 25 #Python
基于pandas向csv添加新的行和列
May 25 #Python
Python如何把十进制数转换成ip地址
May 25 #Python
tensorflow模型转ncnn的操作方式
May 25 #Python
MxNet预训练模型到Pytorch模型的转换方式
May 25 #Python
浅谈pytorch 模型 .pt, .pth, .pkl的区别及模型保存方式
May 25 #Python
You might like
php中strtotime函数用法详解
2014/11/15 PHP
Joomla调用系统自带编辑器的实现方法
2016/05/05 PHP
jQuery 学习第五课 Ajax 使用说明
2010/05/17 Javascript
JS图片无缝滚动(简单利于使用)
2013/06/17 Javascript
Table冻结表头示例代码
2013/08/20 Javascript
jQuery 实现评论等级好评差评特效
2016/05/06 Javascript
微信小程序 获取当前地理位置和经纬度实例代码
2016/12/05 Javascript
javascript中数组(Array)对象和字符串(String)对象的常用方法总结
2016/12/15 Javascript
JavaScript实现格式化字符串函数String.format
2016/12/16 Javascript
原生javascript实现读写CSS样式的方法详解
2017/02/20 Javascript
利用JS制作万年历的方法
2017/08/16 Javascript
微信小程序progress组件使用详解
2018/01/31 Javascript
解决angularjs前后端分离调用接口传递中文时中文乱码的问题
2018/08/13 Javascript
vue拖拽组件使用方法详解
2018/12/01 Javascript
深入了解query和params的使用区别
2019/06/24 Javascript
python错误处理详解
2014/09/28 Python
Python将阿拉伯数字转换为罗马数字的方法
2015/07/10 Python
Python访问MongoDB,并且转换成Dataframe的方法
2018/10/15 Python
Python实现串口通信(pyserial)过程解析
2019/09/25 Python
python集合的创建、添加及删除操作示例
2019/10/08 Python
python基于opencv检测程序运行效率
2019/12/28 Python
Python 实现判断图片格式并转换,将转换的图像存到生成的文件夹中
2020/01/13 Python
Python内置方法和属性应用:反射和单例(推荐)
2020/06/19 Python
Python scrapy爬取小说代码案例详解
2020/07/09 Python
OpenCV图片漫画效果的实现示例
2020/08/18 Python
python3.8.3安装教程及环境配置的详细教程(64-bit)
2020/11/28 Python
纯CSS3实现鼠标悬停提示气泡效果
2014/02/28 HTML / CSS
专门出售各种儿童读物的网站:Put Me In The Story
2016/08/07 全球购物
Amcal中文官网:澳洲综合性连锁药房
2019/03/28 全球购物
快餐公司创业计划书
2014/04/29 职场文书
运动员口号
2014/06/09 职场文书
征用土地赔偿协议书
2014/09/26 职场文书
本溪关门山导游词
2015/02/09 职场文书
人工作失职检讨书
2015/05/05 职场文书
车辆安全隐患排查制度
2015/08/05 职场文书
vue 把二维或多维数组转一维数组
2022/04/24 Vue.js