pytorch查看网络参数显存占用量等操作


Posted in Python onMay 12, 2021

1.使用torchstat

pip install torchstat 

from torchstat import stat
import torchvision.models as models
model = models.resnet152()
stat(model, (3, 224, 224))

关于stat函数的参数,第一个应该是模型,第二个则是输入尺寸,3为通道数。我没有调研该函数的详细参数,也不知道为什么使用的时候并不提示相应的参数。

2.使用torchsummary

pip install torchsummary
 
from torchsummary import summary
summary(model.cuda(),input_size=(3,32,32),batch_size=-1)

使用该函数直接对参数进行提示,可以发现直接有显式输入batch_size的地方,我自己的感觉好像该函数更好一些。但是!!!不知道为什么,该函数在我的机器上一直报错!!!

TypeError: can't convert CUDA tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.

Update:经过论坛咨询,报错的原因找到了,只需要把

pip install torchsummary

修改为

pip install torch-summary

补充:Pytorch查看模型参数并计算模型参数量与可训练参数量

查看模型参数(以AlexNet为例)

import torch
import torch.nn as nn
import torchvision
class AlexNet(nn.Module):
    def __init__(self,num_classes=1000):
        super(AlexNet,self).__init__()
        self.feature_extraction = nn.Sequential(
            nn.Conv2d(in_channels=3,out_channels=96,kernel_size=11,stride=4,padding=2,bias=False),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3,stride=2,padding=0),
            nn.Conv2d(in_channels=96,out_channels=192,kernel_size=5,stride=1,padding=2,bias=False),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3,stride=2,padding=0),
            nn.Conv2d(in_channels=192,out_channels=384,kernel_size=3,stride=1,padding=1,bias=False),
            nn.ReLU(inplace=True),
            nn.Conv2d(in_channels=384,out_channels=256,kernel_size=3,stride=1,padding=1,bias=False),
            nn.ReLU(inplace=True),
            nn.Conv2d(in_channels=256,out_channels=256,kernel_size=3,stride=1,padding=1,bias=False),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2, padding=0),
        )
        self.classifier = nn.Sequential(
            nn.Dropout(p=0.5),
            nn.Linear(in_features=256*6*6,out_features=4096),
            nn.ReLU(inplace=True),
            nn.Dropout(p=0.5),
            nn.Linear(in_features=4096, out_features=4096),
            nn.ReLU(inplace=True),
            nn.Linear(in_features=4096, out_features=num_classes),
        )
    def forward(self,x):
        x = self.feature_extraction(x)
        x = x.view(x.size(0),256*6*6)
        x = self.classifier(x)
        return x
if __name__ =='__main__':
    # model = torchvision.models.AlexNet()
    model = AlexNet()
    
    # 打印模型参数
    #for param in model.parameters():
        #print(param)
    
    #打印模型名称与shape
    for name,parameters in model.named_parameters():
        print(name,':',parameters.size())
feature_extraction.0.weight : torch.Size([96, 3, 11, 11])
feature_extraction.3.weight : torch.Size([192, 96, 5, 5])
feature_extraction.6.weight : torch.Size([384, 192, 3, 3])
feature_extraction.8.weight : torch.Size([256, 384, 3, 3])
feature_extraction.10.weight : torch.Size([256, 256, 3, 3])
classifier.1.weight : torch.Size([4096, 9216])
classifier.1.bias : torch.Size([4096])
classifier.4.weight : torch.Size([4096, 4096])
classifier.4.bias : torch.Size([4096])
classifier.6.weight : torch.Size([1000, 4096])
classifier.6.bias : torch.Size([1000])

计算参数量与可训练参数量

def get_parameter_number(model):
    total_num = sum(p.numel() for p in model.parameters())
    trainable_num = sum(p.numel() for p in model.parameters() if p.requires_grad)
    return {'Total': total_num, 'Trainable': trainable_num}

第三方工具

from torchstat import stat
import torchvision.models as models
model = models.alexnet()
stat(model, (3, 224, 224))

pytorch查看网络参数显存占用量等操作

from torchvision.models import alexnet
import torch
from thop import profile
model = alexnet()
input = torch.randn(1, 3, 224, 224)
flops, params = profile(model, inputs=(input, ))
print(flops, params)

pytorch查看网络参数显存占用量等操作

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
分析python服务器拒绝服务攻击代码
Jan 16 Python
Python3.4编程实现简单抓取爬虫功能示例
Sep 14 Python
python探索之BaseHTTPServer-实现Web服务器介绍
Oct 28 Python
django 2.0更新的10条注意事项总结
Jan 05 Python
python构建深度神经网络(DNN)
Mar 10 Python
Python自定义装饰器原理与用法实例分析
Jul 16 Python
Python爬虫基础之XPath语法与lxml库的用法详解
Sep 13 Python
在python中用url_for构造URL的方法
Jul 25 Python
pyqt5 QlistView列表显示的实现示例
Mar 24 Python
jupyter notebook 多环境conda kernel配置方式
Apr 10 Python
如何理解python中数字列表
May 29 Python
Opencv中cv2.floodFill算法的使用
Jun 18 Python
Python入门之使用pandas分析excel数据
May 12 #Python
将Python代码打包成.exe可执行文件的完整步骤
python3实现Dijkstra算法最短路径的实现
pytorch 中autograd.grad()函数的用法说明
python3实现无权最短路径的方法
Python入门之基础语法详解
May 11 #Python
如何利用Matlab制作一款真正的拼图小游戏
You might like
PHP四种排序算法实现及效率分析【冒泡排序,插入排序,选择排序和快速排序】
2018/04/27 PHP
PHP面向对象程序设计之构造方法和析构方法详解
2019/06/13 PHP
JS 进度条效果实现代码整理
2011/05/21 Javascript
javascript修改表格背景色实例代码分享
2013/12/10 Javascript
js如何获取object类型里的键值
2014/02/18 Javascript
Javascript中的关键字和保留字整理
2014/10/16 Javascript
jQuery事件绑定和委托实例
2014/11/25 Javascript
nodejs实现的一个简单聊天室功能分享
2014/12/06 NodeJs
分享20个提升网站界面体验的jQuery插件
2014/12/15 Javascript
JavaScript学习笔记整理_关于表达式和语句
2016/09/19 Javascript
详解JS去重及字符串奇数位小写转大写
2016/12/29 Javascript
jQuery仿写百度百科的目录树
2017/01/03 Javascript
js数字计算 误差问题的快速解决方法
2017/02/28 Javascript
jQuery事件对象的属性和方法详解
2017/09/09 jQuery
angular.extend方法的具体使用
2017/09/14 Javascript
React性能优化系列之减少props改变的实现方法
2019/01/17 Javascript
vue中的v-if和v-show的区别详解
2019/09/01 Javascript
解决vue+webpack项目接口跨域出现的问题
2020/08/10 Javascript
vue使用keep-alive实现组件切换时保存原组件数据方法
2020/10/30 Javascript
[47:46]完美世界DOTA2联赛 Magma vs GXR 第三场 11.07
2020/11/10 DOTA
Python多线程学习资料
2012/12/19 Python
Python可跨平台实现获取按键的方法
2015/03/05 Python
Python设计模式之职责链模式原理与用法实例分析
2019/01/11 Python
python基础梳理(一)(推荐)
2019/04/06 Python
关于不懂Chromedriver如何配置环境变量问题解决方法
2019/06/12 Python
numpy.meshgrid()理解(小结)
2019/08/01 Python
python标记语句块使用方法总结
2019/08/05 Python
Python日期格式和字符串格式相互转换的方法
2020/02/18 Python
GAP阿联酋官网:GAP UAE
2017/11/30 全球购物
应聘自荐信
2013/12/14 职场文书
你的创业计划书怎样才能打动风投
2014/02/06 职场文书
消防安全责任书
2014/04/14 职场文书
2015毕业生自我评价范文
2015/03/02 职场文书
大学生入党自荐书
2015/03/05 职场文书
毕业论文致谢格式模板
2015/05/14 职场文书
使用tensorflow 实现反向传播求导
2021/05/26 Python