tensorflow 查看梯度方式


Posted in Python onFebruary 04, 2020

1. 为什么要查看梯度

对于初学者来说网络经常不收敛,loss很奇怪(就是不收敛),所以怀疑是反向传播中梯度的问题

(1)求导之后的数(的绝对值)越来越小(趋近于0),这就是梯度消失

(2)求导之后的数(的绝对值)越来越大(特别大,发散),这就是梯度爆炸

所以说呢,当loss不正常时,可以看看梯度是否处于爆炸,或者是消失了,梯度爆炸的话,网络中的W也会很大,人工控制一下(初始化的时候弄小点等等肯定还有其它方法,只是我不知道,知道的大神也可以稍微告诉我一下~~),要是梯度消失,可以试着用用resnet,densenet之类的

2. tensorflow中如何查看梯度

tf.gradients(y,x)这里的就是y对于x的导数(dy/dx),x和y一定要有关联哦~

直接tf.gradients(y_, weight1)就可以了~

以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
pymssql数据库操作MSSQL2005实例分析
May 25 Python
Python如何读取MySQL数据库表数据
Mar 11 Python
python中OrderedDict的使用方法详解
May 05 Python
python 读取excel文件生成sql文件实例详解
May 12 Python
Python实现的微信公众号群发图片与文本消息功能实例详解
Jun 30 Python
windows下python安装paramiko模块和pycrypto模块(简单三步)
Jul 06 Python
python截取两个单词之间的内容方法
Dec 25 Python
漂亮的Django Markdown富文本app插件的实现
Jan 02 Python
python实现Dijkstra算法的最短路径问题
Jun 21 Python
Python中变量的输入输出实例代码详解
Jul 28 Python
python 实现分组求和与分组累加求和代码
May 18 Python
flask开启多线程的具体方法
Aug 02 Python
opencv python图像梯度实例详解
Feb 04 #Python
TensorFlow设置日志级别的几种方式小结
Feb 04 #Python
Python 实现加密过的PDF文件转WORD格式
Feb 04 #Python
解决tensorflow打印tensor有省略号的问题
Feb 04 #Python
对Tensorflow中tensorboard日志的生成与显示详解
Feb 04 #Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 #Python
在TensorFlow中屏蔽warning的方式
Feb 04 #Python
You might like
PHP 检查扩展库或函数是否可用的代码
2010/04/06 PHP
php数组函数序列之array_intersect() 返回两个或多个数组的交集数组
2011/11/10 PHP
php文件操作实例代码
2012/05/10 PHP
解析php中const与define的应用区别
2013/06/18 PHP
php实现的日历程序
2015/06/18 PHP
详解PHP的Laravel框架中Eloquent对象关系映射使用
2016/02/26 PHP
php使用curl实现ftp文件下载功能
2017/05/16 PHP
Laravel-admin之修改操作日志的方法
2019/09/30 PHP
Javascript 函数中的参数使用分析
2010/03/27 Javascript
jquery+css+ul模拟列表菜单具体实现思路
2013/04/15 Javascript
jquery 实现input输入什么div图层显示什么
2014/06/15 Javascript
JS实现统计复选框选中个数并提示确定与取消的方法
2015/07/01 Javascript
浏览器检测JS代码(兼容目前各大主流浏览器)
2016/02/21 Javascript
浅谈js构造函数的方法与原型prototype
2016/07/04 Javascript
nodejs模块nodemailer基本使用-邮件发送示例(支持附件)
2017/03/28 NodeJs
Vue2.0系列之过滤器的使用
2018/03/01 Javascript
angularjs下ng-repeat点击元素改变样式的实现方法
2018/09/12 Javascript
微信小程序冒泡事件及其阻止方法实例分析
2018/12/06 Javascript
element-ui上传一张图片后隐藏上传按钮功能
2019/05/22 Javascript
2020京东618叠蛋糕js脚本(亲测好用)
2020/06/02 Javascript
[09:13]2014DOTA2国际邀请赛 中国区预选赛coser表演
2014/05/23 DOTA
python通过ElementTree操作XML获取结点读取属性美化XML
2013/12/02 Python
Python减少循环层次和缩进的技巧分析
2016/03/15 Python
Python实现感知器模型、两层神经网络
2017/12/19 Python
Python远程视频监控程序的实例代码
2019/05/05 Python
python 已知三条边求三角形的角度案例
2020/04/12 Python
美国最大网上鞋店:Zappos
2016/07/25 全球购物
法国春天百货官网:Printemps.com
2020/06/29 全球购物
你们项目是如何进行变更控制的
2015/08/26 面试题
安全资料员岗位职责
2013/12/14 职场文书
医学专业本科毕业生自我鉴定
2013/12/28 职场文书
创意活动策划书
2014/01/15 职场文书
晚归检讨书
2014/02/19 职场文书
政府领导干部个人对照检查材料思想汇报
2014/09/24 职场文书
研讨会致辞
2015/07/31 职场文书
用Python selenium实现淘宝抢单机器人
2021/06/18 Python