pytorch梯度剪裁方式


Posted in Python onFebruary 04, 2020

我就废话不多说,看例子吧!

import torch.nn as nn

outputs = model(data)
loss= loss_fn(outputs, target)
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)
optimizer.step()

nn.utils.clip_grad_norm_ 的参数:

parameters ? 一个基于变量的迭代器,会进行梯度归一化

max_norm ? 梯度的最大范数

norm_type ? 规定范数的类型,默认为L2

以上这篇pytorch梯度剪裁方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python3图片转换二进制存入mysql
Dec 06 Python
python实现批量获取指定文件夹下的所有文件的厂商信息
Sep 28 Python
windows下安装Python和pip终极图文教程
Mar 05 Python
Ubuntu18.04中Python2.7与Python3.6环境切换
Jun 14 Python
用Python+OpenCV对比图像质量的几种方法
Jul 15 Python
Django 实现外键去除自动添加的后缀‘_id’
Nov 15 Python
python scrapy重复执行实现代码详解
Dec 28 Python
使用python修改文件并立即写回到原始位置操作(inplace读写)
Jun 28 Python
django使用graphql的实例
Sep 02 Python
python自动生成证件号的方法示例
Jan 14 Python
django注册用邮箱发送验证码的实现
Apr 18 Python
Python编程编写完善的命令行工具
Sep 15 Python
基于梯度爆炸的解决方法:clip gradient
Feb 04 #Python
Python 格式化输出_String Formatting_控制小数点位数的实例详解
Feb 04 #Python
python求一个字符串的所有排列的实现方法
Feb 04 #Python
Windows上安装tensorflow  详细教程(图文详解)
Feb 04 #Python
有关Tensorflow梯度下降常用的优化方法分享
Feb 04 #Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
You might like
《PHP边学边教》(02.Apache+PHP环境配置――上篇)
2006/12/13 PHP
php文件缓存类汇总
2014/11/21 PHP
PHP中判断文件存在使用is_file还是file_exists?
2015/04/03 PHP
php实现生成验证码实例分享
2016/04/10 PHP
php实现页面纯静态的实例代码
2017/06/21 PHP
基于php流程控制语句和循环控制语句(讲解)
2017/10/23 PHP
JavaScript CSS菜单功能 改进版
2008/12/20 Javascript
javascript 解决表单仍然提交即使监听处理函数返回false
2010/03/14 Javascript
不要在cookie中使用特殊字符的原因分析
2010/07/13 Javascript
JS延迟加载(setTimeout) JS最后加载
2010/07/15 Javascript
js showModalDialog参数的使用详解
2014/01/07 Javascript
jQuery实现数秒后自动提交form的方法
2015/03/05 Javascript
node.js实现爬虫教程
2020/08/25 Javascript
NodeJS实现图片上传代码(Express)
2017/06/30 NodeJs
Vue2.0子同级组件之间数据交互方法
2018/02/28 Javascript
vue实现百度下拉列表交互操作示例
2019/03/12 Javascript
vue-amap根据地址回显地图并mark的操作
2020/11/03 Javascript
[03:10]2014DOTA2 TI马来劲旅Titan首战告捷目标只是8强
2014/07/10 DOTA
在Python的struct模块中进行数据格式转换的方法
2015/06/17 Python
面向初学者的Python编辑器Mu
2018/10/08 Python
Python+OpenCV图片局部区域像素值处理改进版详解
2019/01/23 Python
用Python写一个自动木马程序
2019/09/17 Python
解决python replace函数替换无效问题
2020/01/18 Python
HTML5本地存储之Web Storage详解
2016/07/04 HTML / CSS
浅谈HTML5中dialog元素尝鲜
2018/10/15 HTML / CSS
Madewell美德威尔美国官网:美国休闲服饰品牌
2016/11/25 全球购物
美国职棒大联盟的官方手套、球和头盔:Rawlings
2020/02/15 全球购物
网络书店创业计划书
2014/02/07 职场文书
《北京的春节》教学反思
2014/04/07 职场文书
股东合作协议书
2014/04/14 职场文书
《第一次抱母亲》教学反思
2014/04/16 职场文书
企业活动策划方案
2014/06/02 职场文书
新颖的化妆品活动方案
2014/08/21 职场文书
办理信用卡工作证明
2014/09/30 职场文书
信贷客户经理岗位职责
2015/04/09 职场文书
MongoDB数据库部署环境准备及使用介绍
2022/03/21 MongoDB