PyTorch搭建多项式回归模型(三)


Posted in Python onMay 22, 2019

PyTorch基础入门三:PyTorch搭建多项式回归模型 

1)理论简介

对于一般的线性回归模型,由于该函数拟合出来的是一条直线,所以精度欠佳,我们可以考虑多项式回归来拟合更多的模型。所谓多项式回归,其本质也是线性回归。也就是说,我们采取的方法是,提高每个属性的次数来增加维度数。比如,请看下面这样的例子:

如果我们想要拟合方程:

PyTorch搭建多项式回归模型(三)

对于输入变量PyTorch搭建多项式回归模型(三)和输出值PyTorch搭建多项式回归模型(三),我们只需要增加其平方项、三次方项系数即可。所以,我们可以设置如下参数方程:

PyTorch搭建多项式回归模型(三)

可以看到,上述方程与线性回归方程并没有本质区别。所以我们可以采用线性回归的方式来进行多项式的拟合。下面请看代码部分。

2)代码实现

当然最先要做的就是导包了,下面需要说明的只有一个:itertools中的count,这个是用来记数用的,其可以记数到无穷,第一个参数是记数的起始值,第二个参数是步长。其内部实现相当于如下代码:

def count(firstval=0, step=1):
 x = firstval
 while 1:
 yield x
 x += step

下面是导包部分代码,这里定义了一个常量POLY_DEGREE = 3用来指定多项式最高次数。

from itertools import count
import torch
import torch.autograd
import torch.nn.functional as F
 
POLY_DEGREE = 3

然后我们需要将数据处理成矩阵的形式:

PyTorch搭建多项式回归模型(三)

在PyTorch里面使用torch.cat()函数来实现Tensor的拼接:

def make_features(x):
 """Builds features i.e. a matrix with columns [x, x^2, x^3, x^4]."""
 x = x.unsqueeze(1)
 return torch.cat([x ** i for i in range(1, POLY_DEGREE+1)], 1)

对于输入的PyTorch搭建多项式回归模型(三)个数据,我们将其扩展成上面矩阵所示的样子。

然后定义出我们需要拟合的多项式,可以随机抽取一个多项式来作为我们的目标多项式。当然,系数PyTorch搭建多项式回归模型(三)和偏置PyTorch搭建多项式回归模型(三)确定了,多项式也就确定了:

W_target = torch.randn(POLY_DEGREE, 1)
b_target = torch.randn(1)
 
def f(x):
 """Approximated function."""
 return x.mm(W_target) + b_target.item()

这里的权重已经定义好了,x.mm(W_target)表示做矩阵乘法,PyTorch搭建多项式回归模型(三)就是每次输入一个PyTorch搭建多项式回归模型(三)得到一个PyTorch搭建多项式回归模型(三)的真实函数。

在训练的时候我们需要采样一些点,可以随机生成一批数据来得到训练集。下面的函数可以让我们每次取batch_size这么多个数据,然后将其转化为矩阵形式,再把这个值通过函数之后的结果也返回作为真实的输出值:

def get_batch(batch_size=32):
 """Builds a batch i.e. (x, f(x)) pair."""
 random = torch.randn(batch_size)
 x = make_features(random)
 y = f(x)
 return x, y

接下来我们需要定义模型,这里采用一种简写的方式定义模型,torch.nn.Linear()表示定义一个线性模型,这里定义了是输入值和目标参数的行数一致(和POLY_DEGREE一致,本次实验中为3),输出值为1的模型。

# Define model
fc = torch.nn.Linear(W_target.size(0), 1)

下面开始训练模型,训练的过程让其不断优化,直到随机取出的batch_size个点中计算出来的均方误差小于0.001为止。

for batch_idx in count(1):
 # Get data
 batch_x, batch_y = get_batch()
 
 # Reset gradients
 fc.zero_grad()
 
 # Forward pass
 output = F.smooth_l1_loss(fc(batch_x), batch_y)
 loss = output.item()
 
 # Backward pass
 output.backward()
 
 # Apply gradients
 for param in fc.parameters():
 param.data.add_(-0.1 * param.grad.data)
 
 # Stop criterion
 if loss < 1e-3:
 break

这样就已经训练出了我们的多项式回归模型,为了方便观察,定义了如下打印函数来打印出我们拟合的多项式表达式:

def poly_desc(W, b):
 """Creates a string description of a polynomial."""
 result = 'y = '
 for i, w in enumerate(W):
 result += '{:+.2f} x^{} '.format(w, len(W) - i)
 result += '{:+.2f}'.format(b[0])
 return result
 
print('Loss: {:.6f} after {} batches'.format(loss, batch_idx))
print('==> Learned function:\t' + poly_desc(fc.weight.view(-1), fc.bias))
print('==> Actual function:\t' + poly_desc(W_target.view(-1), b_target))

程序运行结果如下图所示:

PyTorch搭建多项式回归模型(三)

可以看出,真实的多项式表达式和我们拟合的多项式十分接近。现实世界中很多问题都不是简单的线性回归,涉及到很多复杂的非线性模型。但是我们可以在其特征量上进行研究,改变或者增加其特征,从而将非线性问题转化为线性问题来解决,这种处理问题的思路是我们从多项式回归的算法中应该汲取到的。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现绘制树枝简单示例
Jul 24 Python
Python os模块介绍
Nov 30 Python
Python下的twisted框架入门指引
Apr 15 Python
Python素数检测实例分析
Jun 15 Python
将Python的Django框架与认证系统整合的方法
Jul 24 Python
python使用matplotlib绘图时图例显示问题的解决
Apr 27 Python
详解Pytorch 使用Pytorch拟合多项式(多项式回归)
May 24 Python
Python字典遍历操作实例小结
Mar 05 Python
pytorch中的embedding词向量的使用方法
Aug 18 Python
np.newaxis 实现为 numpy.ndarray(多维数组)增加一个轴
Nov 30 Python
在 Linux/Mac 下为Python函数添加超时时间的方法
Feb 20 Python
Python垃圾回收机制三种实现方法
Apr 27 Python
pytorch使用Variable实现线性回归
May 21 #Python
Python面向对象进阶学习
May 21 #Python
谈一谈基于python的面向对象编程基础
May 21 #Python
python字符串和常用数据结构知识总结
May 21 #Python
Opencv实现抠图背景图替换功能
May 21 #Python
python多进程读图提取特征存npy
May 21 #Python
Python中使用pypdf2合并、分割、加密pdf文件的代码详解
May 21 #Python
You might like
PHP,ASP.JAVA,JAVA代码格式化工具整理
2010/06/15 PHP
fleaphp常用方法分页之Pager使用方法
2011/04/23 PHP
JavaScript 特殊字符
2007/04/05 Javascript
Jsonp 跨域的原理以及Jquery的解决方案
2010/05/18 Javascript
微信小程序 数据绑定详解及实例
2016/10/25 Javascript
详解JS异步加载的三种方式
2017/03/07 Javascript
Vue.js路由vue-router使用方法详解
2017/03/20 Javascript
ES6模块化的import和export用法方法总结
2017/08/08 Javascript
解决angularjs WdatePicker ng-model的问题
2018/09/13 Javascript
Vue实现移动端左右滑动效果的方法
2018/11/27 Javascript
17道题让你彻底理解JS中的类型转换
2019/08/08 Javascript
基于VUE的v-charts的曲线显示功能
2019/10/01 Javascript
js实现旋转木马轮播图效果
2020/01/10 Javascript
[01:03:13]VG vs Pain 2018国际邀请赛小组赛BO2 第一场 8.18
2018/08/19 DOTA
Python中optparse模块使用浅析
2015/01/01 Python
对Python 2.7 pandas 中的read_excel详解
2018/05/04 Python
python3实现字符串操作的实例代码
2019/04/16 Python
python算法与数据结构之单链表的实现代码
2019/06/27 Python
python读取raw binary图片并提取统计信息的实例
2020/01/09 Python
Python操作MongoDb数据库流程详解
2020/03/05 Python
Python3监控windows,linux系统的CPU、硬盘、内存使用率和各个端口的开启情况详细代码实例
2020/03/18 Python
Python 程序报错崩溃后如何倒回到崩溃的位置(推荐)
2020/06/23 Python
PyCharm设置注释字体颜色以及是否倾斜的操作
2020/09/16 Python
HTML5 placeholder属性详解
2016/06/22 HTML / CSS
英国知名的护肤彩妆与时尚配饰大型综合零售电商:Unineed
2016/11/21 全球购物
Nebula美国官网:便携式投影仪
2019/03/15 全球购物
eBay加拿大站:eBay.ca
2019/06/20 全球购物
大学生职业生涯规划范文
2014/01/08 职场文书
敬老文明号事迹材料
2014/01/16 职场文书
物业保安员岗位职责制度
2014/01/30 职场文书
面试后感谢信怎么写
2014/02/01 职场文书
竞选班委演讲稿
2014/04/28 职场文书
公司股份合作协议书
2014/12/07 职场文书
返乡农民工证明
2015/06/24 职场文书
幼儿园托班开学寄语(2016春季)
2015/12/03 职场文书
2019开业庆典剪彩仪式主持词!
2019/07/22 职场文书