tensorflow 查看梯度方式


Posted in Python onFebruary 04, 2020

1. 为什么要查看梯度

对于初学者来说网络经常不收敛,loss很奇怪(就是不收敛),所以怀疑是反向传播中梯度的问题

(1)求导之后的数(的绝对值)越来越小(趋近于0),这就是梯度消失

(2)求导之后的数(的绝对值)越来越大(特别大,发散),这就是梯度爆炸

所以说呢,当loss不正常时,可以看看梯度是否处于爆炸,或者是消失了,梯度爆炸的话,网络中的W也会很大,人工控制一下(初始化的时候弄小点等等肯定还有其它方法,只是我不知道,知道的大神也可以稍微告诉我一下~~),要是梯度消失,可以试着用用resnet,densenet之类的

2. tensorflow中如何查看梯度

tf.gradients(y,x)这里的就是y对于x的导数(dy/dx),x和y一定要有关联哦~

直接tf.gradients(y_, weight1)就可以了~

以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
使用django-suit为django 1.7 admin后台添加模板
Nov 18 Python
python3 pandas 读取MySQL数据和插入的实例
Apr 20 Python
用PyInstaller把Python代码打包成单个独立的exe可执行文件
May 26 Python
python实现将读入的多维list转为一维list的方法
Jun 28 Python
Python3爬虫之urllib携带cookie爬取网页的方法
Dec 28 Python
详解python读取和输出到txt
Mar 29 Python
Python数据类型之List列表实例详解
May 08 Python
Python爬虫 urllib2的使用方法详解
Sep 23 Python
Python 异步协程函数原理及实例详解
Nov 13 Python
Python ini文件常用操作方法解析
Apr 26 Python
使用Pycharm(Python工具)新建项目及创建Python文件的教程
Apr 26 Python
tensorflow下的图片标准化函数per_image_standardization用法
Jun 30 Python
opencv python图像梯度实例详解
Feb 04 #Python
TensorFlow设置日志级别的几种方式小结
Feb 04 #Python
Python 实现加密过的PDF文件转WORD格式
Feb 04 #Python
解决tensorflow打印tensor有省略号的问题
Feb 04 #Python
对Tensorflow中tensorboard日志的生成与显示详解
Feb 04 #Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 #Python
在TensorFlow中屏蔽warning的方式
Feb 04 #Python
You might like
PHP+DBM的同学录程序(3)
2006/10/09 PHP
php 破解防盗链图片函数
2008/12/09 PHP
PHP内置的Math函数效率测试
2014/12/01 PHP
php实现将数组转换为XML的方法
2015/03/09 PHP
php输出全球各个时区列表的方法
2015/03/31 PHP
thinkPHP5.0框架引入Traits功能实例分析
2017/03/18 PHP
js之WEB开发调试利器:Firebug 下载
2007/01/13 Javascript
加载jQuery后$冲突的解决办法
2010/07/09 Javascript
在jQuery 1.5中使用deferred对象的代码(翻译)
2011/03/10 Javascript
js判断undefined类型,undefined,null, 的区别详细解析
2013/12/16 Javascript
jquery清空表单数据示例分享
2014/02/13 Javascript
再谈JavaScript线程
2015/07/10 Javascript
javascript实现支持移动设备画廊
2015/08/24 Javascript
浅谈js基本数据类型和typeof
2016/08/09 Javascript
AngularJs篇:使用AngularJs打造一个简易权限系统的实现代码
2016/12/26 Javascript
angular指令笔记ng-options的使用方法
2017/09/18 Javascript
vue中添加与删除关键字搜索功能
2019/10/12 Javascript
python操作摄像头截图实现远程监控的例子
2014/03/25 Python
详解使用 pyenv 管理多个版本 python 环境
2017/10/19 Python
python tkinter界面居中显示的方法
2018/10/11 Python
python实现坦克大战游戏 附详细注释
2020/03/27 Python
Python二元赋值实用技巧解析
2019/10/25 Python
解决Python 写文件报错TypeError的问题
2020/10/23 Python
使用phonegap查找联系人的实现方法
2017/03/31 HTML / CSS
Engel & Bengel官网:婴儿推车、儿童房家具和婴儿设备
2019/12/28 全球购物
银行实习鉴定
2013/12/13 职场文书
大学生村官心得体会范文
2014/01/04 职场文书
会议开场欢迎词
2014/01/15 职场文书
2014年医学生毕业自我鉴定
2014/03/26 职场文书
公务员保密承诺书
2014/03/27 职场文书
2015年试用期工作总结
2014/12/12 职场文书
2015年社区党建工作汇报材料
2015/06/25 职场文书
分析设计模式之模板方法Java实现
2021/06/23 Java/Android
python 详解turtle画爱心代码
2022/02/15 Python
业余无线电通联Q语
2022/02/18 无线电
Tomcat 与 maven 的安装与使用教程
2022/06/16 Servers