pytorch梯度剪裁方式


Posted in Python onFebruary 04, 2020

我就废话不多说,看例子吧!

import torch.nn as nn

outputs = model(data)
loss= loss_fn(outputs, target)
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)
optimizer.step()

nn.utils.clip_grad_norm_ 的参数:

parameters ? 一个基于变量的迭代器,会进行梯度归一化

max_norm ? 梯度的最大范数

norm_type ? 规定范数的类型,默认为L2

以上这篇pytorch梯度剪裁方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python简单计算文件夹大小的方法
Jul 14 Python
Python中的模块导入和读取键盘输入的方法
Oct 16 Python
Python字符串和字典相关操作的实例详解
Sep 23 Python
浅谈Python peewee 使用经验
Oct 20 Python
详解python string类型 bytes类型 bytearray类型
Dec 16 Python
深入理解Python 关于supper 的 用法和原理
Feb 28 Python
python自动发送邮件脚本
Jun 20 Python
python实现自动登录后台管理系统
Oct 18 Python
对Python中for复合语句的使用示例讲解
Nov 01 Python
使用 Python 玩转 GitHub 的贡献板(推荐)
Apr 04 Python
Python合并多张图片成PDF
Jun 09 Python
Python下opencv库的安装过程及问题汇总
Jun 11 Python
基于梯度爆炸的解决方法:clip gradient
Feb 04 #Python
Python 格式化输出_String Formatting_控制小数点位数的实例详解
Feb 04 #Python
python求一个字符串的所有排列的实现方法
Feb 04 #Python
Windows上安装tensorflow  详细教程(图文详解)
Feb 04 #Python
有关Tensorflow梯度下降常用的优化方法分享
Feb 04 #Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
You might like
第三节 定义一个类 [3]
2006/10/09 PHP
php生成圆角图片的方法
2015/04/07 PHP
php求数组全排列,元素所有组合的方法
2016/05/05 PHP
PHP使用 Pear 进行安装和卸载包的方法详解
2019/07/08 PHP
jQueryUI如何自定义组件实现代码
2010/11/14 Javascript
兼容所有浏览器的js复制插件Zero使用介绍
2014/03/19 Javascript
jquery获取复选框被选中的值
2014/03/22 Javascript
js实现页面跳转重定向的几种方式
2014/05/29 Javascript
AngularJS入门教程之表单校验用法示例
2016/11/02 Javascript
Vue 兄弟组件通信的方法(不使用Vuex)
2017/10/26 Javascript
JS实现点击发送验证码 xx秒后重新发送功能
2019/07/30 Javascript
layui的表单提交以及验证和修改弹框的实例
2019/09/09 Javascript
Weex开发之地图篇的具体使用
2019/10/16 Javascript
pycharm 使用心得(八)如何调用另一文件中的函数
2014/06/06 Python
python 对象和json互相转换方法
2018/03/22 Python
用python处理MS Word的实例讲解
2018/05/08 Python
python同时遍历数组的索引和值的实例
2018/11/15 Python
python解析含有重复key的json方法
2019/01/22 Python
Python selenium 自动化脚本打包成一个exe文件(推荐)
2020/01/14 Python
python利用platform模块获取系统信息
2020/10/09 Python
python实现简单文件读写函数
2021/02/25 Python
HTML5中的新元素介绍
2008/10/17 HTML / CSS
英国的知名精品百货公司:House of Fraser(福来德)
2016/08/14 全球购物
俄罗斯童装网上商店:BebaKids
2020/06/06 全球购物
医学院毕业生自荐信
2013/11/08 职场文书
毕业生个人求职信范例分享
2013/12/17 职场文书
超市创业计划书
2014/04/24 职场文书
2014中考励志标语
2014/06/05 职场文书
基层党员对照检查材料
2014/09/24 职场文书
领导走群众路线整改措施思想汇报
2014/10/12 职场文书
基层党支部整改方案
2014/10/25 职场文书
党的群众路线教育实践活动心得体会(医院)
2014/11/03 职场文书
2014年采购工作总结
2014/11/20 职场文书
励志语录:时光飞逝,请学会珍惜所有的人和事
2020/01/16 职场文书
基于go interface{}==nil 的几种坑及原理分析
2021/04/24 Golang
德劲DE1107指针试高灵敏度全波段收音机机评
2022/04/05 无线电