pytorch对梯度进行可视化进行梯度检查教程


Posted in Python onFebruary 04, 2020

目的: 在训练神经网络的时候,有时候需要自己写操作,比如faster_rcnn中的roi_pooling,我们可以可视化前向传播的图像和反向传播的梯度图像,前向传播可以检查流程和计算的正确性,而反向传播则可以大概检查流程的正确性。

实验

可视化rroi_align的梯度

1.pytorch 0.4.1及之前,需要声明需要参数,这里将图片数据声明为variable

im_data = Variable(im_data, requires_grad=True)

2.进行前向传播,最后的loss映射为一个一维的张量

pooled_feat = roipool(im_data, rois.view(-1, 6))
res = pooled_feat.pow(2).sum()
res.backward()

3.注意求loss的时候采用更加复杂,或者更多的运算(这样在梯度可视化的时候效果才更加明显)

可视化效果

原始图片

pytorch对梯度进行可视化进行梯度检查教程

梯度可视化图片

pytorch对梯度进行可视化进行梯度检查教程

原图+梯度图

pytorch对梯度进行可视化进行梯度检查教程

小结:

可以看到误差梯度的位置是正确的,误差是否正确,需要其他方式验证(暂时没有思路)

可以看到上面在求loss的时候为:loss = sum(x2),但是如果换成:loss = mean(x),效果就没有上面明显。

实验二的效果

pytorch对梯度进行可视化进行梯度检查教程

loss = mean(x)

可以看到根本无法看到误差梯度的位置信息

实验三:loss = sum(x)

pytorch对梯度进行可视化进行梯度检查教程

pytorch对梯度进行可视化进行梯度检查教程

小结: 可以看到位置信息有差别,比如国徽部分,这会让人以为,国徽部分只利用了左部分的信息,或者自己手写的操作误差索引不对。

可以通过两种方式进行验证

1.用更多,更复杂的运算求loss,比如pow,等

2.用matplotlib显示图片后,用鼠标可以指示每个点的具体的值,可以检测有误差梯度区域是否和无误差梯度区域有差别。

以上这篇pytorch对梯度进行可视化进行梯度检查教程就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 除法小技巧
Sep 06 Python
Python实现的下载8000首儿歌的代码分享
Nov 21 Python
python正则表达式match和search用法实例
Mar 26 Python
python实现文本去重且不打乱原本顺序
Jan 26 Python
python3批量删除豆瓣分组下的好友的实现代码
Jun 07 Python
python验证码识别教程之利用投影法、连通域法分割图片
Jun 04 Python
Python从使用线程到使用async/await的深入讲解
Sep 16 Python
python os.listdir按文件存取时间顺序列出目录的实例
Oct 21 Python
python中logging模块的一些简单用法的使用
Feb 22 Python
python openCV获取人脸部分并存储功能
Aug 28 Python
浅谈opencv自动光学检测、目标分割和检测(连通区域和findContours)
Jun 04 Python
python文件编写好后如何实践
Jul 07 Python
pytorch梯度剪裁方式
Feb 04 #Python
基于梯度爆炸的解决方法:clip gradient
Feb 04 #Python
Python 格式化输出_String Formatting_控制小数点位数的实例详解
Feb 04 #Python
python求一个字符串的所有排列的实现方法
Feb 04 #Python
Windows上安装tensorflow  详细教程(图文详解)
Feb 04 #Python
有关Tensorflow梯度下降常用的优化方法分享
Feb 04 #Python
python dumps和loads区别详解
Feb 04 #Python
You might like
为什么夜间收到的中波电台比白天多
2021/03/01 无线电
PHP模板引擎Smarty自定义变量调解器用法
2016/04/11 PHP
php 解析xml 的四种方法详细介绍
2016/10/26 PHP
js表数据排序 sort table data
2009/02/18 Javascript
javascript 定义初始化数组函数
2009/09/07 Javascript
简洁短小的 JavaScript IE 浏览器判定代码
2010/03/21 Javascript
js的alert弹出框出现乱码解决方案
2013/09/02 Javascript
js中判断对象是否为空的三种实现方法
2013/12/23 Javascript
JavaScript中用于四舍五入的Math.round()方法讲解
2015/06/15 Javascript
js密码强度校验
2015/11/10 Javascript
鼠标悬停小图标显示大图标
2016/01/22 Javascript
javascript创建cookie、读取cookie
2016/03/31 Javascript
jQuery插件FusionCharts绘制的2D帕累托图效果示例【附demo源码】
2017/03/28 jQuery
Angular2的管道Pipe的使用方法
2017/11/07 Javascript
详解angular2如何手动点击特定元素上的点击事件
2018/10/16 Javascript
JavaScript ES6箭头函数使用指南
2018/12/30 Javascript
解决vue组件props传值对象获取不到的问题
2019/06/06 Javascript
vue+element tabs选项卡分页效果
2020/06/29 Javascript
p5.js码绘“跳动的小正方形”的实现代码
2019/10/22 Javascript
Ant Design Vue table中列超长显示...并加提示语的实例
2020/10/31 Javascript
[01:01:52]DOTA2-DPC中国联赛定级赛 SAG vs iG BO3第二场 1月9日
2021/03/11 DOTA
使用Eclipse如何开发python脚本
2018/04/11 Python
python3爬虫中多线程进行解锁操作实例
2020/11/25 Python
详解HTML5布局和HTML5标签
2020/10/26 HTML / CSS
试解释COMMIT操作和ROLLBACK操作的语义
2014/07/25 面试题
物控部经理职务说明书
2014/02/25 职场文书
项目投资意向书
2014/04/01 职场文书
人民调解员先进事迹材料
2014/05/08 职场文书
敬老院标语
2014/06/27 职场文书
民主生活会对照检查材料
2014/09/22 职场文书
远程教育学习心得体会
2016/01/23 职场文书
详解python字符串驻留技术
2021/05/21 Python
分享提高 Python 代码的可读性的技巧
2022/03/03 Python
Linux系统下MySQL配置主从分离的步骤
2022/03/21 MySQL
python中 .npy文件的读写操作实例
2022/04/14 Python
详解MySQL的内连接和外连接
2023/05/08 MySQL