详解Pytorch 使用Pytorch拟合多项式(多项式回归)


Posted in Python onMay 24, 2018

使用Pytorch来编写神经网络具有很多优势,比起Tensorflow,我认为Pytorch更加简单,结构更加清晰。

希望通过实战几个Pytorch的例子,让大家熟悉Pytorch的使用方法,包括数据集创建,各种网络层结构的定义,以及前向传播与权重更新方式。

比如这里给出

详解Pytorch 使用Pytorch拟合多项式(多项式回归)    

很显然,这里我们只需要假定

详解Pytorch 使用Pytorch拟合多项式(多项式回归)

这里我们只需要设置一个合适尺寸的全连接网络,根据不断迭代,求出最接近的参数即可。

但是这里需要思考一个问题,使用全连接网络结构是毫无疑问的,但是我们的输入与输出格式是什么样的呢?

只将一个x作为输入合理吗?显然是不合理的,因为每一个神经元其实模拟的是wx+b的计算过程,无法模拟幂运算,所以显然我们需要将x,x的平方,x的三次方,x的四次方组合成一个向量作为输入,假设有n个不同的x值,我们就可以将n个组合向量合在一起组成输入矩阵。

这一步代码如下:

def make_features(x): 
 x = x.unsqueeze(1) 
 return torch.cat([x ** i for i in range(1,4)] , 1)

我们需要生成一些随机数作为网络输入:

def get_batch(batch_size=32): 
 random = torch.randn(batch_size) 
 x = make_features(random) 
 '''Compute the actual results''' 
 y = f(x) 
 if torch.cuda.is_available(): 
  return Variable(x).cuda(), Variable(y).cuda() 
 else: 
  return Variable(x), Variable(y)

其中的f(x)定义如下:

w_target = torch.FloatTensor([0.5,3,2.4]).unsqueeze(1) 
b_target = torch.FloatTensor([0.9]) 
 
def f(x): 
 return x.mm(w_target)+b_target[0]

接下来定义模型:

class poly_model(nn.Module): 
 def __init__(self): 
  super(poly_model, self).__init__() 
  self.poly = nn.Linear(3,1) 
 
 def forward(self, x): 
  out = self.poly(x) 
  return out
if torch.cuda.is_available(): 
 model = poly_model().cuda() 
else: 
 model = poly_model()

接下来我们定义损失函数和优化器:

criterion = nn.MSELoss() 
optimizer = optim.SGD(model.parameters(), lr = 1e-3)

网络部件定义完后,开始训练:

epoch = 0 
while True: 
 batch_x,batch_y = get_batch() 
 output = model(batch_x) 
 loss = criterion(output,batch_y) 
 print_loss = loss.data[0] 
 optimizer.zero_grad() 
 loss.backward() 
 optimizer.step() 
 epoch+=1 
 if print_loss < 1e-3: 
  break

到此我们的所有代码就敲完了,接下来我们开始详细了解一下其中的一些代码。

在make_features()定义中,torch.cat是将计算出的向量拼接成矩阵。unsqueeze是作一个维度上的变化。

get_batch中,torch.randn是产生指定维度的随机数,如果你的机器支持GPU加速,可以将Variable放在GPU上进行运算,类似语句含义相通。

x.mm是作矩阵乘法。

模型定义是重中之重,其实当你掌握Pytorch之后,你会发现模型定义是十分简单的,各种基本的层结构都已经为你封装好了。所有的层结构和损失函数都来自torch.nn,所有的模型构建都是从这个基类 nn.Module继承的。模型定义中,__init__与forward是有模板的,大家可以自己体会。

nn.Linear是做一个线性的运算,参数的含义代表了输入层与输出层的结构,即3*1;在训练阶段,有几行是Pytorch不同于别的框架的,首先loss是一个Variable,通过loss.data可以取出一个Tensor,再通过data[0]可以得到一个int或者float类型的值,我们才可以进行基本运算或者显示。每次计算梯度之前,都需要将梯度归零,否则梯度会叠加。个人觉得别的语句还是比较好懂的,如果有疑问可以在下方评论。

下面是我们的拟合结果

详解Pytorch 使用Pytorch拟合多项式(多项式回归)

其实效果肯定会很好,因为只是一个非常简单的全连接网络,希望大家通过这个小例子可以学到Pytorch的一些基本操作。往后我们会继续更新,完整代码请戳,https://github.com/ZhichaoDuan/PytorchCourse

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python2.7安装图文教程
Mar 13 Python
Python3随机漫步生成数据并绘制
Aug 27 Python
Python cv2 图像自适应灰度直方图均衡化处理方法
Dec 07 Python
浅谈python标准库--functools.partial
Mar 13 Python
Pandas之MultiIndex对象的示例详解
Jun 25 Python
python函数的万能参数传参详解
Jul 26 Python
Python对接 xray 和微信实现自动告警
Sep 17 Python
Python之——生成动态路由轨迹图的实例
Nov 22 Python
Pycharm使用远程linux服务器conda/python环境在本地运行的方法(图解))
Dec 09 Python
使用Python爬虫库requests发送表单数据和JSON数据
Jan 25 Python
Python实现寻找回文数字过程解析
Jun 09 Python
Python实现简单的猜单词小游戏
Oct 28 Python
Python获取系统所有进程PID及进程名称的方法示例
May 24 #Python
好的Python培训机构应该具备哪些条件
May 23 #Python
Python实现的根据IP地址计算子网掩码位数功能示例
May 23 #Python
Python加载带有注释的Json文件实例
May 23 #Python
Python实现判断一行代码是否为注释的方法
May 23 #Python
对python的文件内注释 help注释方法
May 23 #Python
Python基于生成器迭代实现的八皇后问题示例
May 23 #Python
You might like
php 过滤危险html代码
2009/06/29 PHP
PHP fopen 读取带中文URL地址的一点见解
2012/09/25 PHP
PHP里面把16进制的图片数据显示在html的img标签上(实现方法)
2017/05/02 PHP
PHP去除空数组且数组键名重置的讲解
2019/02/28 PHP
再谈javascript 动态添加样式规则 W3C校检
2009/12/25 Javascript
jquery 插件学习(六)
2012/08/06 Javascript
JS控制文本框textarea输入字数限制的方法
2013/06/17 Javascript
js正则表达式的使用详解
2013/07/09 Javascript
JQuery弹出炫丽对话框的同时让背景变灰色
2014/05/22 Javascript
jquery处理json对象
2014/11/03 Javascript
js实现超简单的展开、折叠目录代码
2015/08/28 Javascript
javascript实现tab切换特效
2015/11/12 Javascript
Jquery插件之Fancybox丰富的弹出层效果附源码下载
2015/12/02 Javascript
js实现简单的验证码
2015/12/25 Javascript
学习JavaScript设计模式之观察者模式
2020/04/22 Javascript
jQuery判断是否存在滚动条的简单方法
2016/09/17 Javascript
TypeScript入门-基本数据类型
2017/03/28 Javascript
ES5 ES6中Array对象去除重复项的方法总结
2017/04/27 Javascript
详解如何将 Vue-cli 改造成支持多页面的 history 模式
2017/11/20 Javascript
JS实现去除数组中重复json的方法示例
2017/12/21 Javascript
vue的一个分页组件的示例代码
2017/12/25 Javascript
Javascript实现购物车功能的详细代码
2018/05/08 Javascript
每周一练 之 数据结构与算法(Stack)
2019/04/16 Javascript
微信小程序轮播图swiper代码详解
2020/12/01 Javascript
python删除不需要的python文件方法
2018/04/24 Python
Python3 SSH远程连接服务器的方法示例
2018/12/29 Python
Python实现平行坐标图的两种方法小结
2019/07/04 Python
Python 读取xml数据,cv2裁剪图片实例
2020/03/10 Python
解决selenium+Headless Chrome实现不弹出浏览器自动化登录的问题
2021/01/09 Python
html5+css3气泡组件的实现
2014/11/21 HTML / CSS
利物浦足球俱乐部官方网上商店:Liverpool FC Official Store
2018/01/13 全球购物
幼儿园亲子活动总结
2014/04/26 职场文书
2014群众路线学习笔记
2014/11/06 职场文书
股权转让协议书
2014/12/07 职场文书
2016同学毕业寄语大全
2015/12/04 职场文书
2016年感恩节活动总结大全
2016/04/01 职场文书