深入理解Pytorch微调torchvision模型


Posted in Python onNovember 11, 2021

一、简介

在本小节,深入探讨如何对torchvision进行微调和特征提取。所有模型都已经预先在1000类的magenet数据集上训练完成。 本节将深入介绍如何使用几个现代的CNN架构,并将直观展示如何微调任意的PyTorch模型。
本节将执行两种类型的迁移学习:

  • 微调:从预训练模型开始,更新我们新任务的所有模型参数,实质上是重新训练整个模型。
  • 特征提取:从预训练模型开始,仅更新从中导出预测的最终图层权重。它被称为特征提取,因为我们使用预训练的CNN作为固定 的特征提取器,并且仅改变输出层。

通常这两种迁移学习方法都会遵循一下步骤:

  • 初始化预训练模型
  • 重组最后一层,使其具有与新数据集类别数相同的输出数
  • 为优化算法定义想要的训练期间更新的参数
  • 运行训练步骤

二、导入相关包

from __future__ import print_function
from __future__ import division
import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
import torchvision 
from torchvision import datasets,models,transforms
import matplotlib.pyplot as plt
import time
import os
import copy
print("Pytorch version:",torch.__version__)
print("torchvision version:",torchvision.__version__)

运行结果

深入理解Pytorch微调torchvision模型

三、数据输入

数据集——>我在这里

链接:https://pan.baidu.com/s/1G3yRfKTQf9sIq1iCSoymWQ
提取码:1234

#%%输入
data_dir="D:\Python\Pytorch\data\hymenoptera_data"
# 从[resnet,alexnet,vgg,squeezenet,desenet,inception]
model_name='squeezenet'
# 数据集中类别数量
num_classes=2
# 训练的批量大小
batch_size=8
# 训练epoch数
num_epochs=15
# 用于特征提取的标志。为FALSE,微调整个模型,为TRUE只更新图层参数
feature_extract=True

四、辅助函数

1、模型训练和验证

  • train_model函数处理给定模型的训练和验证。作为输入,它需要PyTorch模型、数据加载器字典、损失函数、优化器、用于训练和验 证epoch数,以及当模型是初始模型时的布尔标志。
  • is_inception标志用于容纳 Inception v3 模型,因为该体系结构使用辅助输出, 并且整体模型损失涉及辅助输出和最终输出,如此处所述。 这个函数训练指定数量的epoch,并且在每个epoch之后运行完整的验证步骤。它还跟踪最佳性能的模型(从验证准确率方面),并在训练 结束时返回性能最好的模型。在每个epoch之后,打印训练和验证正确率。
#%%模型训练和验证
device=torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
def train_model(model,dataloaders,criterion,optimizer,num_epochs=25,is_inception=False):
    since=time.time()
    val_acc_history=[]
    best_model_wts=copy.deepcopy(model.state_dict())
    best_acc=0.0
    for epoch in range(num_epochs):
        print('Epoch{}/{}'.format(epoch, num_epochs-1))
        print('-'*10)
        # 每个epoch都有一个训练和验证阶段
        for phase in['train','val']:
            if phase=='train':
                model.train()
            else:
                model.eval()
                
            running_loss=0.0
            running_corrects=0
            # 迭代数据
            for inputs,labels in dataloaders[phase]:
                inputs=inputs.to(device)
                labels=labels.to(device)
                # 梯度置零
                optimizer.zero_grad()
                # 向前传播
                with torch.set_grad_enabled(phase=='train'):
                    # 获取模型输出并计算损失,开始的特殊情况在训练中他有一个辅助输出
                    # 在训练模式下,通过将最终输出和辅助输出相加来计算损耗,在测试中值考虑最终输出
                    if is_inception and phase=='train':
                        outputs,aux_outputs=model(inputs)
                        loss1=criterion(outputs,labels)
                        loss2=criterion(aux_outputs,labels)
                        loss=loss1+0.4*loss2
                    else:
                        outputs=model(inputs)
                        loss=criterion(outputs,labels)
                        
                    _,preds=torch.max(outputs,1)
                    
                    if phase=='train':
                        loss.backward()
                        optimizer.step()
                        
                # 添加
                running_loss+=loss.item()*inputs.size(0)
                running_corrects+=torch.sum(preds==labels.data)
                
            epoch_loss=running_loss/len(dataloaders[phase].dataset)
            epoch_acc=running_corrects.double()/len(dataloaders[phase].dataset)
            
            print('{}loss : {:.4f} acc:{:.4f}'.format(phase, epoch_loss,epoch_acc))
            
            if phase=='train' and epoch_acc>best_acc:
                best_acc=epoch_acc
                best_model_wts=copy.deepcopy(model.state_dict())
            if phase=='val':
                val_acc_history.append(epoch_acc)
            
        print()

    time_elapsed=time.time()-since
    print('training complete in {:.0f}s'.format(time_elapsed//60, time_elapsed%60))
    print('best val acc:{:.4f}'.format(best_acc))
    
    model.load_state_dict(best_model_wts)
    return model,val_acc_history

2、设置模型参数的'.requires_grad属性'

当我们进行特征提取时,此辅助函数将模型中参数的 .requires_grad 属性设置为False。
默认情况下,当我们加载一个预训练模型时,所有参数都是 .requires_grad = True,如果我们从头开始训练或微调,这种设置就没问题。
但是,如果我们要运行特征提取并且只想为新初始化的层计算梯度,那么我们希望所有其他参数不需要梯度变化。

#%%设置模型参数的.require——grad属性
def set_parameter_requires_grad(model,feature_extracting):
    if feature_extracting:
        for param in model.parameters():
            param.require_grad=False

靓仔今天先去跑步了,再不跑来不及了,先更这么多,后续明天继续~(感谢有人没有催更!感谢监督!希望继续监督!)

以上就是深入理解Pytorch微调torchvision模型的详细内容,更多关于Pytorch torchvision模型的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python实现从网络下载文件并获得文件大小及类型的方法
Apr 28 Python
Python解析nginx日志文件
May 11 Python
分享6个隐藏的python功能
Dec 07 Python
基于DATAFRAME中元素的读取与修改方法
Jun 08 Python
详解python爬虫系列之初识爬虫
Apr 06 Python
Python with标签使用方法解析
Jan 17 Python
将 Ubuntu 16 和 18 上的 python 升级到最新 python3.8 的方法教程
Mar 11 Python
解决jupyter notebook打不开无反应 浏览器未启动的问题
Apr 10 Python
使用 django orm 写 exists 条件过滤实例
May 20 Python
python实现不同数据库间数据同步功能
Feb 25 Python
python 下划线的多种应用场景总结
May 12 Python
python 制作一个gui界面的翻译工具
May 14 Python
Python 中 Shutil 模块详情
Nov 11 #Python
django 认证类配置实现
Nov 11 #Python
Python Pandas数据分析之iloc和loc的用法详解
据Python爬虫不靠谱预测可知今年双十一销售额将超过6000亿元
Python 详解通过Scrapy框架实现爬取百度新冠疫情数据流程
python中tkinter复选框使用操作
Nov 11 #Python
Python中的变量与常量
Nov 11 #Python
You might like
php 无限级数据JSON格式及JS解析
2010/07/17 PHP
php设计模式 Observer(观察者模式)
2011/06/26 PHP
解析PHP 5.5 新特性
2013/07/02 PHP
高性能PHP框架Symfony2经典入门教程
2014/07/08 PHP
Laravel重写用户登录简单示例
2016/10/08 PHP
PHP仿qq空间或朋友圈发布动态、评论动态、回复评论、删除动态或评论的功能(上)
2017/05/26 PHP
php单元测试phpunit入门实例教程
2017/11/17 PHP
PHP实时统计中文字数和区别
2019/02/28 PHP
laravel 数据迁移与 Eloquent ORM的实现方法
2019/04/12 PHP
php并发加锁问题分析与设计代码实例讲解
2021/02/26 PHP
js判断输入是否为正整数、浮点数等数字的函数代码
2010/11/17 Javascript
推荐40款强大的 jQuery 导航插件和教程(上篇)
2012/09/14 Javascript
基于jquery实现点击左右按钮图片横向滚动
2013/04/11 Javascript
简单时间提示DEMO从0开始一直进行计时
2013/11/19 Javascript
JavaScript学习笔记之Cookie对象
2015/01/22 Javascript
JavaScript中字符串分割函数split用法实例
2015/04/07 Javascript
微信小程序 支付功能实现PHP实例详解
2017/05/12 Javascript
详解Vue双向数据绑定原理解析
2017/09/11 Javascript
Layui实现数据表格默认全部显示(不要分页)
2019/10/26 Javascript
JS co 函数库的含义和用法实例总结
2020/04/08 Javascript
python爬虫爬取快手视频多线程下载功能
2018/02/28 Python
Python 使用 PyMysql、DBUtils 创建连接池提升性能
2019/08/14 Python
详解python3中用HTMLTestRunner.py报ImportError: No module named 'StringIO'如何解决
2019/08/27 Python
关于pycharm中pip版本10.0无法使用的解决办法
2019/10/10 Python
pytorch 常用函数 max ,eq说明
2020/06/28 Python
吉列剃须刀美国官网:Gillette美国
2018/07/13 全球购物
优秀班组长事迹
2014/05/31 职场文书
初中国旗下的演讲稿
2014/08/28 职场文书
2014年幼儿园重阳节活动方案
2014/09/16 职场文书
房屋租赁委托书范本
2014/10/04 职场文书
校长师德表现自我评价
2015/03/04 职场文书
外出学习心得体会范文
2016/01/18 职场文书
中国古代史学名著《战国策》概述
2019/08/09 职场文书
详解vue身份认证管理和租户管理
2021/05/25 Vue.js
tensorflow中的数据类型dtype用法说明
2021/05/26 Python
Python代码实现双链表
2022/05/25 Python