pytorch梯度剪裁方式


Posted in Python onFebruary 04, 2020

我就废话不多说,看例子吧!

import torch.nn as nn

outputs = model(data)
loss= loss_fn(outputs, target)
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)
optimizer.step()

nn.utils.clip_grad_norm_ 的参数:

parameters ? 一个基于变量的迭代器,会进行梯度归一化

max_norm ? 梯度的最大范数

norm_type ? 规定范数的类型,默认为L2

以上这篇pytorch梯度剪裁方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python创建xml的方法
Mar 10 Python
python版本的读写锁操作方法
Apr 25 Python
pandas series序列转化为星期几的实例
Apr 11 Python
pycharm执行python时,填写参数的方法
Oct 29 Python
python读取几个G的csv文件方法
Jan 07 Python
基于OpenCV python3实现证件照换背景的方法
Mar 22 Python
python实现按行分割文件
Jul 22 Python
python自定义时钟类、定时任务类
Feb 22 Python
python paramiko远程服务器终端操作过程解析
Dec 14 Python
django有哪些好处和优点
Sep 01 Python
python绘图模块之利用turtle画图
Feb 12 Python
python如何正确使用yield
May 21 Python
基于梯度爆炸的解决方法:clip gradient
Feb 04 #Python
Python 格式化输出_String Formatting_控制小数点位数的实例详解
Feb 04 #Python
python求一个字符串的所有排列的实现方法
Feb 04 #Python
Windows上安装tensorflow  详细教程(图文详解)
Feb 04 #Python
有关Tensorflow梯度下降常用的优化方法分享
Feb 04 #Python
python dumps和loads区别详解
Feb 04 #Python
Python2和Python3中@abstractmethod使用方法
Feb 04 #Python
You might like
PHP5中MVC结构学习
2006/10/09 PHP
php常用Stream函数集介绍
2013/06/24 PHP
js 弹出框只弹一次(二次修改之后的)
2013/11/26 Javascript
利用JavaScript实现新闻滚动效果(实例代码)
2013/11/27 Javascript
使用js判断TextBox控件值改变然后出发事件
2014/03/07 Javascript
浅析node.js中close事件
2014/11/26 Javascript
jQuery实现响应鼠标事件的图片透明效果【附demo源码下载】
2016/06/16 Javascript
Radio 单选JS动态添加的选项onchange事件无效的解决方法
2016/12/12 Javascript
详解angularjs中如何实现控制器和指令之间交互
2017/05/31 Javascript
微信小程序视图template模板引用的实例详解
2017/09/20 Javascript
node.js中axios使用心得总结
2017/11/29 Javascript
Vue使用Proxy监听所有接口状态的方法实现
2019/06/07 Javascript
详解React 条件渲染
2020/07/08 Javascript
[01:12]快闪回顾DOTA2亚洲邀请赛(DAC) 静候2018新征程开启
2018/03/11 DOTA
[58:35]OG vs EG 2019国际邀请赛淘汰赛 胜者组 BO3 第二场 8.22
2019/09/05 DOTA
跟老齐学Python之编写类之三子类
2014/10/11 Python
利用Python开发实现简单的记事本
2016/11/15 Python
Python实现在线暴力破解邮箱账号密码功能示例【测试可用】
2017/09/06 Python
Python3.7实现中控考勤机自动连接
2018/08/28 Python
python利用ffmpeg进行录制屏幕的方法
2019/01/10 Python
python查询文件夹下excel的sheet名代码实例
2019/04/02 Python
python接口自动化(十七)--Json 数据处理---一次爬坑记(详解)
2019/04/18 Python
python多进程下实现日志记录按时间分割
2019/07/22 Python
python网络爬虫 CrawlSpider使用详解
2019/09/27 Python
python 实现读取csv数据,分类求和 再写进 csv
2020/05/18 Python
python上selenium的弹框操作实现
2020/07/13 Python
python中如何打包用户自定义模块
2020/09/23 Python
ajax是什么及其工作原理
2012/02/08 面试题
小学生推普周国旗下讲话稿
2014/09/21 职场文书
2015年初一班主任工作总结
2015/05/13 职场文书
肖申克救赎观后感
2015/06/02 职场文书
《自己的花是让别人看的》教学反思
2016/02/19 职场文书
JS 4个超级实用的小技巧 提升开发效率
2021/10/05 Javascript
Spring Security中用JWT退出登录时遇到的坑
2021/10/16 Java/Android
golang生成vcf通讯录格式文件详情
2022/03/25 Golang
《月歌。》宣布制作10周年纪念剧场版《RABBITS KINGDOM THE MOVIE》
2022/04/02 日漫