tensorflow 查看梯度方式


Posted in Python onFebruary 04, 2020

1. 为什么要查看梯度

对于初学者来说网络经常不收敛,loss很奇怪(就是不收敛),所以怀疑是反向传播中梯度的问题

(1)求导之后的数(的绝对值)越来越小(趋近于0),这就是梯度消失

(2)求导之后的数(的绝对值)越来越大(特别大,发散),这就是梯度爆炸

所以说呢,当loss不正常时,可以看看梯度是否处于爆炸,或者是消失了,梯度爆炸的话,网络中的W也会很大,人工控制一下(初始化的时候弄小点等等肯定还有其它方法,只是我不知道,知道的大神也可以稍微告诉我一下~~),要是梯度消失,可以试着用用resnet,densenet之类的

2. tensorflow中如何查看梯度

tf.gradients(y,x)这里的就是y对于x的导数(dy/dx),x和y一定要有关联哦~

直接tf.gradients(y_, weight1)就可以了~

以上这篇tensorflow 查看梯度方式就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python简单实现基于SSL的IRC bot实例
Jun 15 Python
python安装cx_Oracle模块常见问题与解决方法
Feb 21 Python
让Python更加充分的使用Sqlite3
Dec 11 Python
Pycharm 设置自定义背景颜色的图文教程
May 23 Python
python实现定时提取实时日志程序
Jun 22 Python
Python爬虫设置代理IP(图文)
Dec 23 Python
Python常用数据类型之间的转换总结
Sep 06 Python
Python 字节流,字符串,十六进制相互转换实例(binascii,bytes)
May 11 Python
python如何查看安装了的模块
Jun 23 Python
python 实现的IP 存活扫描脚本
Dec 10 Python
Python 无限级分类树状结构生成算法的实现
Jan 21 Python
Python Numpy之linspace用法说明
Apr 17 Python
opencv python图像梯度实例详解
Feb 04 #Python
TensorFlow设置日志级别的几种方式小结
Feb 04 #Python
Python 实现加密过的PDF文件转WORD格式
Feb 04 #Python
解决tensorflow打印tensor有省略号的问题
Feb 04 #Python
对Tensorflow中tensorboard日志的生成与显示详解
Feb 04 #Python
在 Python 中接管键盘中断信号的实现方法
Feb 04 #Python
在TensorFlow中屏蔽warning的方式
Feb 04 #Python
You might like
Syphon 使用方法
2021/03/03 冲泡冲煮
新手学PHP之数据库操作详解及乱码解决!
2007/01/02 PHP
开发大型 PHP 项目的方法
2007/01/02 PHP
php绘图之生成饼状图的方法
2015/01/24 PHP
老版本PHP转义Json里的特殊字符的函数
2015/06/08 PHP
PHP抓取淘宝商品的用户晒单评论+图片+搜索商品列表实例
2016/04/14 PHP
json数据处理技巧(字段带空格、增加字段、排序等等)
2013/06/14 Javascript
JS判断字符串包含的方法
2015/05/05 Javascript
jQuery AjaxUpload 上传图片代码
2016/02/02 Javascript
jQuery插件FusionCharts绘制的2D帕累托图效果示例【附demo源码】
2017/03/28 jQuery
fullPage.js和CSS3实现全屏滚动效果
2017/05/05 Javascript
BootStrap Fileinput插件和Bootstrap table表格插件相结合实现文件上传、预览、提交的导入Excel数据操作步骤
2017/08/07 Javascript
使用D3.js制作图表详解
2017/08/13 Javascript
利用JS动态生成隔行换色HTML表格的两种方法
2018/10/09 Javascript
nodejs实现获取本地文件夹下图片信息功能示例
2019/06/22 NodeJs
封装一下vue中的axios示例代码详解
2020/02/16 Javascript
微信小程序实现简单文字跑马灯
2020/05/26 Javascript
Ant Design Pro 之 ProTable使用操作
2020/10/31 Javascript
剖析Python的Twisted框架的核心特性
2016/05/25 Python
Python搜索引擎实现原理和方法
2017/11/27 Python
解决Django Static内容不能加载显示的问题
2019/07/28 Python
pytorch 计算ConvTranspose1d输出特征大小方式
2020/06/23 Python
纯css3实现照片墙效果
2014/12/26 HTML / CSS
HTML5 播放 RTSP 视频的实例代码
2019/07/29 HTML / CSS
加拿大廉价机票预订网站:CheapOair.ca
2018/03/04 全球购物
英国女性运动服品牌:Sweaty Betty
2018/11/08 全球购物
Allen Edmonds官方网站:一家美国优质男士鞋类及配饰制造商
2019/03/12 全球购物
饿了么订餐官网:外卖、网上订餐
2019/06/28 全球购物
阿迪达斯中国官网:Adidas中国
2020/12/14 全球购物
房地产营销策划方案
2014/02/08 职场文书
公司股权转让协议书
2014/04/12 职场文书
社团活动总结怎么写
2014/06/30 职场文书
中学生社会实践活动总结
2014/07/03 职场文书
Nginx域名转发使用场景代码实例
2021/03/31 Servers
python 开心网和豆瓣日记爬取的小爬虫
2021/05/29 Python
使用 Apache Dubbo 实现远程通信(微服务架构)
2022/02/12 Servers