tensorflow 查看梯度方式


Posted in Python onFebruary 04, 2020

1. 为什么要查看梯度

对于初学者来说网络经常不收敛,loss很奇怪(就是不收敛),所以怀疑是反向传播中梯度的问题

(1)求导之后的数(的绝对值)越来越小(趋近于0),这就是梯度消失

(2)求导之后的数(的绝对值)越来越大(特别大,发散),这就是梯度爆炸

所以说呢,当loss不正常时,可以看看梯度是否处于爆炸,或者是消失了,梯度爆炸的话,网络中的W也会很大,人工控制一下(初始化的时候弄小点等等肯定还有其它方法,只是我不知道,知道的大神也可以稍微告诉我一下~~),要是梯度消失,可以试着用用resnet,densenet之类的

2. tensorflow中如何查看梯度

tf.gradients(y,x)这里的就是y对于x的导数(dy/dx),x和y一定要有关联哦~

直接tf.gradients(y_, weight1)就可以了~

以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中使用OpenCV进行人脸检测的例子
Apr 18 Python
Python中模拟enum枚举类型的5种方法分享
Nov 22 Python
提升Python程序运行效率的6个方法
Mar 31 Python
python模块简介之有序字典(OrderedDict)
Dec 01 Python
Python中修改字符串的四种方法
Nov 02 Python
python3实现字符串操作的实例代码
Apr 16 Python
python添加菜单图文讲解
Jun 04 Python
在django中图片上传的格式校验及大小方法
Jul 28 Python
详解如何从TensorFlow的mnist数据集导出手写体数字图片
Aug 05 Python
numpy np.newaxis 的实用分享
Nov 30 Python
Python3 搭建Qt5 环境的方法示例
Jul 16 Python
python 逐步回归算法
Apr 06 Python
opencv python图像梯度实例详解
Feb 04 #Python
TensorFlow设置日志级别的几种方式小结
Feb 04 #Python
Python 实现加密过的PDF文件转WORD格式
Feb 04 #Python
解决tensorflow打印tensor有省略号的问题
Feb 04 #Python
对Tensorflow中tensorboard日志的生成与显示详解
Feb 04 #Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 #Python
在TensorFlow中屏蔽warning的方式
Feb 04 #Python
You might like
一段php加密解密的代码
2006/10/09 PHP
php使用base64加密解密图片示例分享
2014/01/20 PHP
PHP用正则匹配form表单中所有元素的类型和属性值实例代码
2017/02/28 PHP
JQuery操作iframe父页面与子页面的元素与方法(实例讲解)
2013/11/20 Javascript
JavaScript实现动态创建CSS样式规则方案
2014/09/06 Javascript
jQuery获取样式中颜色值的方法
2015/01/29 Javascript
jQuery对象和DOM对象之间相互转换的方法介绍
2015/02/28 Javascript
JavaScript点击按钮后弹出透明浮动层的方法
2015/05/11 Javascript
Jquery简单实现GridView行高亮的方法
2015/06/15 Javascript
深入探究使JavaScript动画流畅的一些方法
2015/06/30 Javascript
jQuery Checkbox 全选 反选的简单实例
2016/11/29 Javascript
JS判断键盘是否按的回车键并触发指定按钮点击操作的方法
2017/02/13 Javascript
JS解析url查询参数的简单代码
2017/08/06 Javascript
web前端开发中常见的多列布局解决方案整理(一定要看)
2017/10/15 Javascript
vue在自定义组件中使用v-model进行数据绑定的方法
2019/03/25 Javascript
解决Layui当中的导航条动态添加后渲染失败的问题
2019/09/25 Javascript
Vue中错误图片的处理的实现代码
2019/11/07 Javascript
jQuery实现全选、反选和不选功能的方法详解
2019/12/04 jQuery
vue3使用vue-count-to组件的实现
2020/12/25 Vue.js
微信小程序实现点赞业务
2021/02/10 Javascript
[01:32]DOTA2 2015国际邀请赛中国区预选赛第四日战报
2015/05/29 DOTA
零基础写python爬虫之urllib2中的两个重要概念:Openers和Handlers
2014/11/05 Python
python更新列表的方法
2015/07/28 Python
Python3实现发送QQ邮件功能(附件)
2020/12/23 Python
tensorflow输出权重值和偏差的方法
2018/02/10 Python
python读取excel指定列数据并写入到新的excel方法
2018/07/10 Python
python并发爬虫实用工具tomorrow实用解析
2019/09/25 Python
pytorch GAN伪造手写体mnist数据集方式
2020/01/10 Python
Django多层嵌套ManyToMany字段ORM操作详解
2020/05/19 Python
Python之qq自动发消息的示例代码
2021/02/18 Python
使用CSS3的rem属性制作响应式页面布局的要点解析
2016/05/24 HTML / CSS
.net面试题
2016/09/17 面试题
投标单位介绍信
2014/01/09 职场文书
2015年文秘个人工作总结
2015/10/14 职场文书
幼师自荐信范文(2016推荐篇)
2016/01/28 职场文书
MySQL范围查询优化的场景实例详解
2022/06/10 MySQL