用tensorflow构建线性回归模型的示例代码


Posted in Python onMarch 05, 2018

用tensorflow构建简单的线性回归模型是tensorflow的一个基础样例,但是原有的样例存在一些问题,我在实际调试的过程中做了一点自己的改进,并且有一些体会。

首先总结一下tf构建模型的总体套路

1、先定义模型的整体图结构,未知的部分,比如输入就用placeholder来代替。

2、再定义最后与目标的误差函数。

3、最后选择优化方法。

另外几个值得注意的地方是:

1、tensorflow构建模型第一步是先用代码搭建图模型,此时图模型是静止的,是不产生任何运算结果的,必须使用Session来驱动。

2、第二步根据问题的不同要求构建不同的误差函数,这个函数就是要求优化的函数。

3、调用合适的优化器优化误差函数,注意,此时反向传播调整参数的过程隐藏在了图模型当中,并没有显式显现出来。

4、tensorflow的中文意思是张量流动,也就是说有两个意思,一个是参与运算的不仅仅是标量或是矩阵,甚至可以是具有很高维度的张量,第二个意思是这些数据在图模型中流动,不停地更新。

5、session的run函数中,按照传入的操作向上查找,凡是操作中涉及的无论是变量、常量都要参与运算,占位符则要在run过程中以字典形式传入。

以上时tensorflow的一点认识,下面是关于梯度下降的一点新认识。

1、梯度下降法分为批量梯度下降和随机梯度下降法,第一种是所有数据都参与运算后,计算误差函数,根据此误差函数来更新模型参数,实际调试发现,如果定义误差函数为平方误差函数,这个值很快就会飞掉,原因是,批量平方误差都加起来可能会很大,如果此时学习率比较高,那么调整就会过,造成模型参数向一个方向大幅调整,造成最终结果发散。所以这个时候要降低学习率,让参数变化不要太快。

2、随机梯度下降法,每次用一个数据计算误差函数,然后更新模型参数,这个方法有可能会造成结果出现震荡,而且麻烦的是由于要一个个取出数据参与运算,而不是像批量计算那样采用了广播或者向量化乘法的机制,收敛会慢一些。但是速度要比使用批量梯度下降要快,原因是不需要每次计算全部数据的梯度了。比较折中的办法是mini-batch,也就是每次选用一小部分数据做梯度下降,目前这也是最为常用的方法了。

3、epoch概念:所有样本集过完一轮,就是一个epoch,很明显,如果是严格的随机梯度下降法,一个epoch内更新了样本个数这么多次参数,而批量法只更新了一次。

以上是我个人的一点认识,希望大家看到有不对的地方及时批评指针,不胜感激!

#encoding=utf-8 
__author__ = 'freedom' 
import tensorflow as tf 
import numpy as np 
 
def createData(dataNum,w,b,sigma): 
 train_x = np.arange(dataNum) 
 train_y = w*train_x+b+np.random.randn()*sigma 
 #print train_x 
 #print train_y 
 return train_x,train_y 
 
def linerRegression(train_x,train_y,epoch=100000,rate = 0.000001): 
 train_x = np.array(train_x) 
 train_y = np.array(train_y) 
 n = train_x.shape[0] 
 x = tf.placeholder("float") 
 y = tf.placeholder("float") 
 w = tf.Variable(tf.random_normal([1])) # 生成随机权重 
 b = tf.Variable(tf.random_normal([1])) 
 
 pred = tf.add(tf.mul(x,w),b) 
 loss = tf.reduce_sum(tf.pow(pred-y,2)) 
 optimizer = tf.train.GradientDescentOptimizer(rate).minimize(loss) 
 init = tf.initialize_all_variables() 
 
 sess = tf.Session() 
 sess.run(init) 
 print 'w start is ',sess.run(w) 
 print 'b start is ',sess.run(b) 
 for index in range(epoch): 
  #for tx,ty in zip(train_x,train_y): 
   #sess.run(optimizer,{x:tx,y:ty}) 
  sess.run(optimizer,{x:train_x,y:train_y}) 
  # print 'w is ',sess.run(w) 
  # print 'b is ',sess.run(b) 
  # print 'pred is ',sess.run(pred,{x:train_x}) 
  # print 'loss is ',sess.run(loss,{x:train_x,y:train_y}) 
  #print '------------------' 
 print 'loss is ',sess.run(loss,{x:train_x,y:train_y}) 
 w = sess.run(w) 
 b = sess.run(b) 
 return w,b 
 
def predictionTest(test_x,test_y,w,b): 
 W = tf.placeholder(tf.float32) 
 B = tf.placeholder(tf.float32) 
 X = tf.placeholder(tf.float32) 
 Y = tf.placeholder(tf.float32) 
 n = test_x.shape[0] 
 pred = tf.add(tf.mul(X,W),B) 
 loss = tf.reduce_mean(tf.pow(pred-Y,2)) 
 sess = tf.Session() 
 loss = sess.run(loss,{X:test_x,Y:test_y,W:w,B:b}) 
 return loss 
 
if __name__ == "__main__": 
 train_x,train_y = createData(50,2.0,7.0,1.0) 
 test_x,test_y = createData(20,2.0,7.0,1.0) 
 w,b = linerRegression(train_x,train_y) 
 print 'weights',w 
 print 'bias',b 
 loss = predictionTest(test_x,test_y,w,b) 
 print loss

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现发送和获取手机短信验证码
Jan 15 Python
python 查找字符串是否存在实例详解
Jan 20 Python
Python实现的圆形绘制(画圆)示例
Jan 31 Python
Python实现的读写json文件功能示例
Jun 05 Python
python中redis查看剩余过期时间及用正则通配符批量删除key的方法
Jul 30 Python
Python生成MD5值的两种方法实例分析
Apr 26 Python
python itchat实现调用微信接口的第三方模块方法
Jun 11 Python
anaconda中更改python版本的方法步骤
Jul 14 Python
python 公共方法汇总解析
Sep 16 Python
pytorch查看通道数 维数 尺寸大小方式
May 26 Python
Python类的继承super相关原理解析
Oct 22 Python
利用Python发送邮件或发带附件的邮件
Nov 12 Python
详解python实现线程安全的单例模式
Mar 05 #Python
分析python动态规划的递归、非递归实现
Mar 04 #Python
python3.x上post发送json数据
Mar 04 #Python
python数据封装json格式数据
Mar 04 #Python
Python爬虫实例扒取2345天气预报
Mar 04 #Python
Python爬虫设置代理IP的方法(爬虫技巧)
Mar 04 #Python
浅析python实现scrapy定时执行爬虫
Mar 04 #Python
You might like
十天学会php之第九天
2006/10/09 PHP
初识PHP中的Swoole
2016/04/05 PHP
浅析php-fpm静态和动态执行方式的比较
2016/11/09 PHP
JavaScript插入动态样式实现代码
2012/02/22 Javascript
JS获取鼠标坐标的实例方法
2013/07/18 Javascript
JS获取图片实际宽高及根据图片大小进行自适应
2013/08/11 Javascript
jquery 操作两个select实现值之间的互相传递
2014/03/07 Javascript
js防止DIV布局滚动时闪动的解决方法
2014/10/30 Javascript
jquery操作select方法汇总
2015/02/05 Javascript
基于insertBefore制作简单的循环插空效果
2015/09/21 Javascript
举例讲解如何判断JavaScript中对象的类型
2016/04/22 Javascript
jQuery ajax的功能实现方法详解
2017/01/06 Javascript
js实现5秒倒计时重新发送短信功能
2017/02/05 Javascript
基于jQuery选择器之表单对象属性筛选选择器的实例
2017/09/19 jQuery
浅谈使用mpvue开发小程序需要注意和了解的知识点
2018/05/23 Javascript
vue中使用微信公众号js-sdk踩坑记录
2019/03/29 Javascript
解决cordova+vue 项目打包成APK应用遇到的问题
2019/05/10 Javascript
vue-router二级导航切换路由及高亮显示的实现方法
2019/07/10 Javascript
基于JavaScript实现表格隔行换色
2020/05/08 Javascript
vue中的循环对象属性和属性值用法
2020/09/04 Javascript
JavaScript实现前端倒计时效果
2021/02/09 Javascript
Python Socket传输文件示例
2017/01/16 Python
在Python 中同一个类两个函数间变量的调用方法
2019/01/31 Python
解决python执行不输出系统命令弹框的问题
2019/06/24 Python
python用pip install时安装失败的一系列问题及解决方法
2020/02/24 Python
Python Numpy中数据的常用保存与读取方法
2020/04/01 Python
python数据处理——对pandas进行数据变频或插值实例
2020/04/22 Python
大学生专科学习生活的自我评价
2013/12/07 职场文书
篮球友谊赛通讯稿
2014/10/10 职场文书
项目转让协议书
2014/10/27 职场文书
焦点访谈观后感
2015/06/11 职场文书
蜗居观后感
2015/06/11 职场文书
无婚姻登记记录证明
2015/06/18 职场文书
2016年庆“七一”主题党日活动总结
2016/04/05 职场文书
《好妈妈胜过好老师》:每个孩子的优秀都是有源头的
2020/01/03 职场文书
Spring mvc是如何实现与数据库的前后端的连接操作的?
2021/06/30 Java/Android