使用tensorflow 实现反向传播求导


Posted in Python onMay 26, 2021

看代码吧~

X=tf.constant([-1,-2],dtype=tf.float32)
w=tf.Variable([2.,3.])
truth=[3.,3.]
Y=w*X
# cost=tf.reduce_sum(tf.reduce_sum(Y*truth)/(tf.sqrt(tf.reduce_sum(tf.square(Y)))*tf.sqrt(tf.reduce_sum(tf.square(truth)))))
cost=Y[1]*Y
optimizer = tf.train.GradientDescentOptimizer(1).minimize(cost)
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(Y))
    print(sess.run(w))
    print(sess.run(cost))
 
    print(sess.run(Y))
    sess.run(optimizer)
 
    print(sess.run(w))

结果如下

使用tensorflow 实现反向传播求导

W由[2,3]变成[-4,-25]

过程:

f=y0*y=w0*x0*w*x=[w1*x1*w0*x0,w1*x1*w1*x1,]

f对w0求导,得w1*x0*x1+0=6 ,所以新的w0=w0-6=-4

f对w1求导,得 w0*x0*x1+2*w1*x1*x1=28,所以新的w1=w1-28=-25

补充:【TensorFlow篇】--反向传播

一、前述

反向自动求导是 TensorFlow 实现的方案,首先,它执行图的前向阶段,从输入到输出,去计算节点
值,然后是反向阶段,从输出到输入去计算所有的偏导。

二、具体

1、举例

使用tensorflow 实现反向传播求导

图是第二个阶段,在第一个阶段中,从 x =3和 y =4开始去计算所有的节点值

f ( x / y )=x 2 * y + y + 2

求解的想法是逐渐的从图上往下,计算 f ( x , y )的偏导,使用每一个连续的节点,直到我们到达变量节
点,严重依赖链式求导法则!

2.具体过程:

因为n7是输出节点,所以f=n7,所以?f/??7= 1

让我们继续往下走到n5节点,?f/??5=?f/??7∗??7/??5 . 我们已知?f/??7=1,所以我们需要知道??7/??5 ,因为n7=n5+n6,所以我们求得??7/??5=1,所以?f/??5=1*1=1

现在我们继续走到节点n4,?f/??4=?f/??5∗??5/??4,因为n5=n4*n2,我们求得�?5/??4=n2,?f/??4=1*4

沿着图一路向下,我们可以计算出所有节点,就能计算出 ??/?x= 24,??/?y= 10

那我们就可以利用和上面类似的方式方法去计算??/??

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python对象体系深入分析
Oct 28 Python
Python实现查找匹配项作处理后再替换回去的方法
Jun 10 Python
修复CentOS7升级Python到3.6版本后yum不能正确使用的解决方法
Jan 26 Python
python画一个玫瑰和一个爱心
Aug 18 Python
python引入不同文件夹下的自定义模块方法
Oct 27 Python
python输入整条数据分割存入数组的方法
Nov 13 Python
Python3+Pycharm+PyQt5环境搭建步骤图文详解
May 29 Python
Python统计时间内的并发数代码实例
Dec 28 Python
解决Pycharm的项目目录突然消失的问题
Jan 20 Python
解决django框架model中外键不落实到数据库问题
May 20 Python
pycharm实现print输出保存到txt文件
Jun 01 Python
Python中的pprint模块
Nov 27 Python
python基础学习之递归函数知识总结
TensorFlow的自动求导原理分析
Django分页器的用法你都了解吗
May 26 #Python
tensorflow中的梯度求解及梯度裁剪操作
May 26 #Python
python numpy中multiply与*及matul 的区别说明
May 26 #Python
python文本处理的方案(结巴分词并去除符号)
Django操作cookie的实现
May 26 #Python
You might like
解析PHP中的正则表达式以及模式匹配
2013/06/19 PHP
php仿QQ验证码的实例分析
2013/07/01 PHP
一个简单的php路由类
2016/05/29 PHP
php usort 使用用户自定义的比较函数对二维数组中的值进行排序
2017/05/02 PHP
ThinkPHP5.0框架控制器继承基类和自定义类示例
2018/05/25 PHP
PHP使用 Pear 进行安装和卸载包的方法详解
2019/07/08 PHP
js读取本地excel文档数据的代码
2010/11/11 Javascript
火狐下table中创建form导致两个table之间出现空白
2013/09/02 Javascript
Jquery判断$("#id")获取的对象是否存在的方法
2013/09/25 Javascript
解决ueditor jquery javascript 取值问题
2014/12/30 Javascript
Javascript获取统一管理的提示语(message)
2016/02/03 Javascript
jsp 网站引入外部css或者js失效问题解决
2016/10/31 Javascript
JS中数组重排序方法
2016/11/11 Javascript
Bootstrap Search Suggest使用例子
2016/12/21 Javascript
javascript 显示全局变量与隐式全局变量的区别
2017/02/09 Javascript
nodejs模块nodemailer基本使用-邮件发送示例(支持附件)
2017/03/28 NodeJs
解决Vue 浏览器后退无法触发beforeRouteLeave的问题
2017/12/24 Javascript
手动用webpack搭建第一个ReactApp的示例
2018/04/11 Javascript
vue学习笔记之给组件绑定原生事件操作示例
2020/02/27 Javascript
基于JavaScript或jQuery实现网站夜间/高亮模式
2020/05/30 jQuery
Python列表(list)常用操作方法小结
2015/02/02 Python
对Python新手编程过程中如何规避一些常见问题的建议
2015/04/01 Python
深入解析Python中函数的参数与作用域
2016/03/20 Python
详解python eval函数的妙用
2017/11/16 Python
Python考拉兹猜想输出序列代码实践
2019/07/05 Python
Python 通过截图匹配原图中的位置(opencv)实例
2019/08/27 Python
Python全栈之列表数据类型详解
2019/10/01 Python
浅谈Pytorch中的自动求导函数backward()所需参数的含义
2020/02/29 Python
Python批量删除mysql中千万级大量数据的脚本分享
2020/12/03 Python
HTML最新标准HTML5总结(必看)
2016/06/13 HTML / CSS
全球度假村:Club Med
2017/11/27 全球购物
英国豪华真皮和布艺沙发销售网站:Darlings of Chelsea
2018/01/05 全球购物
银行开业庆典方案
2014/02/06 职场文书
2014年社区居委会主任重阳节讲话稿
2014/09/25 职场文书
离婚协议书样本
2015/01/26 职场文书
HTML中table表格拆分合并(colspan、rowspan)
2021/04/07 HTML / CSS