tensorflow 查看梯度方式


Posted in Python onFebruary 04, 2020

1. 为什么要查看梯度

对于初学者来说网络经常不收敛,loss很奇怪(就是不收敛),所以怀疑是反向传播中梯度的问题

(1)求导之后的数(的绝对值)越来越小(趋近于0),这就是梯度消失

(2)求导之后的数(的绝对值)越来越大(特别大,发散),这就是梯度爆炸

所以说呢,当loss不正常时,可以看看梯度是否处于爆炸,或者是消失了,梯度爆炸的话,网络中的W也会很大,人工控制一下(初始化的时候弄小点等等肯定还有其它方法,只是我不知道,知道的大神也可以稍微告诉我一下~~),要是梯度消失,可以试着用用resnet,densenet之类的

2. tensorflow中如何查看梯度

tf.gradients(y,x)这里的就是y对于x的导数(dy/dx),x和y一定要有关联哦~

直接tf.gradients(y_, weight1)就可以了~

以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python基于隐马尔可夫模型实现中文拼音输入
Apr 01 Python
用pickle存储Python的原生对象方法
Apr 28 Python
利用selenium 3.7和python3添加cookie模拟登陆的实现
Nov 20 Python
python 接口返回的json字符串实例
Mar 27 Python
tensorflow 1.0用CNN进行图像分类
Apr 15 Python
对django xadmin自定义菜单的实例详解
Jan 03 Python
pyqt 实现为长内容添加滑轮 scrollArea
Jun 19 Python
在Python中使用filter去除列表中值为假及空字符串的例子
Nov 18 Python
pytorch实现特殊的Module--Sqeuential三种写法
Jan 15 Python
python如何删除文件、目录
Jun 23 Python
python 检测nginx服务邮件报警的脚本
Dec 31 Python
使用python创建股票的时间序列可视化分析
Mar 03 Python
opencv python图像梯度实例详解
Feb 04 #Python
TensorFlow设置日志级别的几种方式小结
Feb 04 #Python
Python 实现加密过的PDF文件转WORD格式
Feb 04 #Python
解决tensorflow打印tensor有省略号的问题
Feb 04 #Python
对Tensorflow中tensorboard日志的生成与显示详解
Feb 04 #Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 #Python
在TensorFlow中屏蔽warning的方式
Feb 04 #Python
You might like
php判断字符以及字符串的包含方法属性
2008/08/30 PHP
浅谈php中urlencode与rawurlencode的区别
2016/09/05 PHP
ThinkPHP框架实现导出excel数据的方法示例【基于PHPExcel】
2018/05/12 PHP
thinkPHP框架动态配置用法实例分析
2018/06/14 PHP
JavaScript 权威指南(第四版) 读书笔记
2009/08/11 Javascript
AJAX使用了UpdatePanel后无法使用alert弹出脚本
2010/04/02 Javascript
js最简单的拖拽效果实现代码
2010/09/24 Javascript
jQuery中的.bind()、.live()和.delegate()之间区别分析
2011/06/08 Javascript
JavaScript高级程序设计阅读笔记(五) ECMAScript中的运算符(一)
2012/02/27 Javascript
js实现点小图看大图效果的思路及示例代码
2013/10/28 Javascript
javascript正则表达式基础知识入门
2015/04/20 Javascript
最佳的JavaScript错误处理实践
2016/07/16 Javascript
浅谈jquery页面初始化的4种方式
2016/11/27 Javascript
微信小程序之圆形进度条实现思路
2018/02/22 Javascript
centos 上快速搭建ghost博客方法分享
2018/05/23 Javascript
JavaScript canvas绘制圆弧与圆形
2020/02/18 Javascript
js this 绑定机制深入详解
2020/04/30 Javascript
python连接mysql调用存储过程示例
2014/03/05 Python
python实现定制交互式命令行的方法
2014/07/03 Python
python中assert用法实例分析
2015/04/30 Python
Python中str.format()详解
2017/03/12 Python
详解Python的hasattr() getattr() setattr() 函数使用方法
2018/07/09 Python
浅析Python3中的对象垃圾收集机制
2019/06/06 Python
Python定义函数时参数有默认值问题解决
2019/12/19 Python
python调用HEG工具批量处理MODIS数据的方法及注意事项
2020/02/18 Python
使用Numpy对特征中的异常值进行替换及条件替换方式
2020/06/08 Python
解决Keras自带数据集与预训练model下载太慢问题
2020/06/12 Python
关于tf.matmul() 和tf.multiply() 的区别说明
2020/06/18 Python
python使用多线程查询数据库的实现示例
2020/08/17 Python
英国领先的电子、技术和办公用品购物网站:Ebuyer
2018/04/04 全球购物
如何用PHP实现邮件发送
2012/12/26 面试题
Python的两道面试题
2013/06/29 面试题
配件采购员岗位职责
2013/12/03 职场文书
小学生作文评语大全
2014/04/21 职场文书
北京奥运会主题口号
2014/06/13 职场文书
公司奖励通知
2015/04/21 职场文书