解决pytorch 的state_dict()拷贝问题


Posted in Python onMarch 03, 2021

先说结论

model.state_dict()是浅拷贝,返回的参数仍然会随着网络的训练而变化。

应该使用deepcopy(model.state_dict()),或将参数及时序列化到硬盘。

再讲故事,前几天在做一个模型的交叉验证训练时,通过model.state_dict()保存了每一组交叉验证模型的参数,后根据效果选择准确率最佳的模型load回去,结果每一次都是最后一个模型,从地址来看,每一个保存的state_dict()都具有不同的地址,但进一步发现state_dict()下的各个模型参数的地址是共享的,而我又使用了in-place的方式重置模型参数,进而导致了上述问题。

补充:pytorch中state_dict的理解

在PyTorch中,state_dict是一个Python字典对象(在这个有序字典中,key是各层参数名,value是各层参数),包含模型的可学习参数(即权重和偏差,以及bn层的的参数) 优化器对象(torch.optim)也具有state_dict,其中包含有关优化器状态以及所用超参数的信息。

其实看了如下代码的输出应该就懂了

import torch
import torch.nn as nn
import torchvision
import numpy as np
from torchsummary import summary
# Define model
class TheModelClass(nn.Module):
  def __init__(self):
    super(TheModelClass, self).__init__()
    self.conv1 = nn.Conv2d(3, 6, 5)
    self.pool = nn.MaxPool2d(2, 2)
    self.conv2 = nn.Conv2d(6, 16, 5)
    self.fc1 = nn.Linear(16 * 5 * 5, 120)
    self.fc2 = nn.Linear(120, 84)
    self.fc3 = nn.Linear(84, 10)
  def forward(self, x):
    x = self.pool(F.relu(self.conv1(x)))
    x = self.pool(F.relu(self.conv2(x)))
    x = x.view(-1, 16 * 5 * 5)
    x = F.relu(self.fc1(x))
    x = F.relu(self.fc2(x))
    x = self.fc3(x)
    return x
# Initialize model
model = TheModelClass()
# Initialize optimizer
optimizer = torch.optim.SGD(model.parameters(), lr=0.001, momentum=0.9)
# Print model's state_dict
print("Model's state_dict:")
for param_tensor in model.state_dict():
  print(param_tensor,"\t", model.state_dict()[param_tensor].size())
# Print optimizer's state_dict
print("Optimizer's state_dict:")
for var_name in optimizer.state_dict():
  print(var_name, "\t", optimizer.state_dict()[var_name])

输出如下:

Model's state_dict:
conv1.weight  torch.Size([6, 3, 5, 5])
conv1.bias  torch.Size([6])
conv2.weight  torch.Size([16, 6, 5, 5])
conv2.bias  torch.Size([16])
fc1.weight  torch.Size([120, 400])
fc1.bias  torch.Size([120])
fc2.weight  torch.Size([84, 120])
fc2.bias  torch.Size([84])
fc3.weight  torch.Size([10, 84])
fc3.bias  torch.Size([10])
Optimizer's state_dict:
state  {}
param_groups  [{'lr': 0.001, 'momentum': 0.9, 'dampening': 0, 'weight_decay': 0, 'nesterov': False, 'params': [2238501264336, 2238501329800, 2238501330016, 2238501327136, 2238501328576, 2238501329728, 2238501327928, 2238501327064, 2238501330808, 2238501328288]}]

我是刚接触深度学西的小白一个,希望大佬可以为我指出我的不足,此博客仅为自己的笔记!!!!

补充:pytorch保存模型时报错***object has no attribute 'state_dict'

定义了一个类BaseNet并实例化该类:

net=BaseNet()

保存net时报错 object has no attribute 'state_dict'

torch.save(net.state_dict(), models_dir)

原因是定义类的时候不是继承nn.Module类,比如:

class BaseNet(object):
  def __init__(self):

把类定义改为

class BaseNet(nn.Module):
  def __init__(self):
    super(BaseNet, self).__init__()

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
Python实现登录人人网并抓取新鲜事的方法
May 11 Python
详解Python中的type()方法的使用
May 21 Python
解析Python编程中的包结构
Oct 25 Python
Python可变参数用法实例分析
Apr 02 Python
Python实现读取及写入csv文件的方法示例
Jan 12 Python
深入理解Python 关于supper 的 用法和原理
Feb 28 Python
python 实现读取一个excel多个sheet表并合并的方法
Feb 12 Python
详解python 爬取12306验证码
May 10 Python
python2.7的flask框架之引用js&css等静态文件的实现方法
Aug 22 Python
如何运行带参数的python脚本
Nov 15 Python
python爬虫之爬取笔趣阁小说
Apr 22 Python
python 单机五子棋对战游戏
Apr 28 Python
解决pytorch 保存模型遇到的问题
Mar 03 #Python
解决pytorch 模型复制的一些问题
Mar 03 #Python
Pytorch模型迁移和迁移学习,导入部分模型参数的操作
Mar 03 #Python
pytorch 实现L2和L1正则化regularization的操作
Mar 03 #Python
Pytorch自定义Dataset和DataLoader去除不存在和空数据的操作
Mar 03 #Python
python爬取youtube视频的示例代码
Mar 03 #Python
pytorch Dataset,DataLoader产生自定义的训练数据案例
Mar 03 #Python
You might like
PHP获取搜索引擎关键字来源的函数(支持百度和谷歌等搜索引擎)
2012/10/03 PHP
PHP实现无限级分类(不使用递归)
2015/10/22 PHP
PHP随机数 C扩展随机数
2016/05/04 PHP
PHP的mysqli_rollback()函数讲解
2019/01/23 PHP
php7 新增功能实例总结
2020/05/25 PHP
filters.revealTrans.Transition使用方法小结
2010/08/19 Javascript
javascript 应用小技巧方法汇总
2015/07/05 Javascript
jQuery实现悬浮在右上角的网页客服效果代码
2015/10/24 Javascript
基于Jquery+div+css实现弹出登录窗口(代码超简单)
2015/10/27 Javascript
详解Angular开发中的登陆与身份验证
2016/07/27 Javascript
javascript操作cookie
2017/01/17 Javascript
Vue.js手风琴菜单组件开发实例
2017/05/16 Javascript
jQuery查找dom的几种方法效率详解
2017/05/17 jQuery
jQuery获取单选按钮radio选中值与去除所有radio选中状态的方法
2017/05/20 jQuery
JQuery 获取Dom元素的实例讲解
2017/07/08 jQuery
深入理解基于vue-cli的vuex配置
2017/07/24 Javascript
javascript 面向对象实战思想分享
2017/09/07 Javascript
vue中render函数的使用详解
2018/10/12 Javascript
React性能优化系列之减少props改变的实现方法
2019/01/17 Javascript
EasyUI 数据表格datagrid列自适应内容宽度的实现
2019/07/18 Javascript
Python读写Excel文件的实例
2013/11/01 Python
分析Python编程时利用wxPython来支持多线程的方法
2015/04/07 Python
python算法演练_One Rule 算法(详解)
2017/05/17 Python
基于python中theano库的线性回归
2018/08/31 Python
python基于celery实现异步任务周期任务定时任务
2019/12/30 Python
python如何用matplotlib创建三维图表
2021/01/26 Python
服装厂厂长岗位职责
2013/12/27 职场文书
班级德育工作实施方案
2014/02/21 职场文书
高中毕业生登记表自我鉴定范文
2014/03/18 职场文书
收款授权委托书
2014/10/02 职场文书
群众路线党员个人剖析材料
2014/10/08 职场文书
申报优秀教师材料
2014/12/16 职场文书
颐和园导游词400字
2015/01/30 职场文书
困难补助申请报告
2015/05/19 职场文书
oracle数据库去除重复数据
2022/05/20 Oracle
nginx 添加http_stub_status_module模块
2022/05/25 Servers