详解Pytorch 使用Pytorch拟合多项式(多项式回归)


Posted in Python onMay 24, 2018

使用Pytorch来编写神经网络具有很多优势,比起Tensorflow,我认为Pytorch更加简单,结构更加清晰。

希望通过实战几个Pytorch的例子,让大家熟悉Pytorch的使用方法,包括数据集创建,各种网络层结构的定义,以及前向传播与权重更新方式。

比如这里给出

详解Pytorch 使用Pytorch拟合多项式(多项式回归)    

很显然,这里我们只需要假定

详解Pytorch 使用Pytorch拟合多项式(多项式回归)

这里我们只需要设置一个合适尺寸的全连接网络,根据不断迭代,求出最接近的参数即可。

但是这里需要思考一个问题,使用全连接网络结构是毫无疑问的,但是我们的输入与输出格式是什么样的呢?

只将一个x作为输入合理吗?显然是不合理的,因为每一个神经元其实模拟的是wx+b的计算过程,无法模拟幂运算,所以显然我们需要将x,x的平方,x的三次方,x的四次方组合成一个向量作为输入,假设有n个不同的x值,我们就可以将n个组合向量合在一起组成输入矩阵。

这一步代码如下:

def make_features(x): 
 x = x.unsqueeze(1) 
 return torch.cat([x ** i for i in range(1,4)] , 1)

我们需要生成一些随机数作为网络输入:

def get_batch(batch_size=32): 
 random = torch.randn(batch_size) 
 x = make_features(random) 
 '''Compute the actual results''' 
 y = f(x) 
 if torch.cuda.is_available(): 
  return Variable(x).cuda(), Variable(y).cuda() 
 else: 
  return Variable(x), Variable(y)

其中的f(x)定义如下:

w_target = torch.FloatTensor([0.5,3,2.4]).unsqueeze(1) 
b_target = torch.FloatTensor([0.9]) 
 
def f(x): 
 return x.mm(w_target)+b_target[0]

接下来定义模型:

class poly_model(nn.Module): 
 def __init__(self): 
  super(poly_model, self).__init__() 
  self.poly = nn.Linear(3,1) 
 
 def forward(self, x): 
  out = self.poly(x) 
  return out
if torch.cuda.is_available(): 
 model = poly_model().cuda() 
else: 
 model = poly_model()

接下来我们定义损失函数和优化器:

criterion = nn.MSELoss() 
optimizer = optim.SGD(model.parameters(), lr = 1e-3)

网络部件定义完后,开始训练:

epoch = 0 
while True: 
 batch_x,batch_y = get_batch() 
 output = model(batch_x) 
 loss = criterion(output,batch_y) 
 print_loss = loss.data[0] 
 optimizer.zero_grad() 
 loss.backward() 
 optimizer.step() 
 epoch+=1 
 if print_loss < 1e-3: 
  break

到此我们的所有代码就敲完了,接下来我们开始详细了解一下其中的一些代码。

在make_features()定义中,torch.cat是将计算出的向量拼接成矩阵。unsqueeze是作一个维度上的变化。

get_batch中,torch.randn是产生指定维度的随机数,如果你的机器支持GPU加速,可以将Variable放在GPU上进行运算,类似语句含义相通。

x.mm是作矩阵乘法。

模型定义是重中之重,其实当你掌握Pytorch之后,你会发现模型定义是十分简单的,各种基本的层结构都已经为你封装好了。所有的层结构和损失函数都来自torch.nn,所有的模型构建都是从这个基类 nn.Module继承的。模型定义中,__init__与forward是有模板的,大家可以自己体会。

nn.Linear是做一个线性的运算,参数的含义代表了输入层与输出层的结构,即3*1;在训练阶段,有几行是Pytorch不同于别的框架的,首先loss是一个Variable,通过loss.data可以取出一个Tensor,再通过data[0]可以得到一个int或者float类型的值,我们才可以进行基本运算或者显示。每次计算梯度之前,都需要将梯度归零,否则梯度会叠加。个人觉得别的语句还是比较好懂的,如果有疑问可以在下方评论。

下面是我们的拟合结果

详解Pytorch 使用Pytorch拟合多项式(多项式回归)

其实效果肯定会很好,因为只是一个非常简单的全连接网络,希望大家通过这个小例子可以学到Pytorch的一些基本操作。往后我们会继续更新,完整代码请戳,https://github.com/ZhichaoDuan/PytorchCourse

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
PHP webshell检查工具 python实现代码
Sep 15 Python
Python 冒泡,选择,插入排序使用实例
Feb 05 Python
Python获取网页上图片下载地址的方法
Mar 11 Python
用Python编写一个简单的FUSE文件系统的教程
Apr 02 Python
Python三级目录展示的实现方法
Sep 28 Python
pandas求两个表格不相交的集合方法
Dec 08 Python
python调用java的jar包方法
Dec 15 Python
Python数据分析模块pandas用法详解
Sep 04 Python
TensorFlow——Checkpoint为模型添加检查点的实例
Jan 21 Python
使用PyQt的QLabel组件实现选定目标框功能的方法示例
May 19 Python
python numpy矩阵信息说明,shape,size,dtype
May 22 Python
详解pandas apply 并行处理的几种方法
Feb 24 Python
Python获取系统所有进程PID及进程名称的方法示例
May 24 #Python
好的Python培训机构应该具备哪些条件
May 23 #Python
Python实现的根据IP地址计算子网掩码位数功能示例
May 23 #Python
Python加载带有注释的Json文件实例
May 23 #Python
Python实现判断一行代码是否为注释的方法
May 23 #Python
对python的文件内注释 help注释方法
May 23 #Python
Python基于生成器迭代实现的八皇后问题示例
May 23 #Python
You might like
php SQL防注入代码集合
2008/04/25 PHP
Codeigniter检测表单post数据的方法
2015/03/21 PHP
java模拟PHP的pack和unpack类
2016/04/13 PHP
PHP线程的内存回收问题
2016/07/08 PHP
示例详解Laravel重置密码代码重构
2016/08/10 PHP
phpcms中的评论样式修改方法
2016/10/21 PHP
求数组最大最小值方法适用于任何数组
2013/08/16 Javascript
浅析JavaScript原型继承的陷阱
2013/12/03 Javascript
js数组与字符串的相互转换方法
2014/07/09 Javascript
Javascript基础教程之for循环
2015/01/18 Javascript
纯Javascript实现ping功能的方法
2015/03/20 Javascript
jQuery+css实现炫目的动态块漂移效果
2016/01/28 Javascript
AngularJS入门教程之表单校验用法示例
2016/11/02 Javascript
js数组操作方法总结(必看篇)
2016/11/22 Javascript
AngularJS ui-router (嵌套路由)实例
2017/03/10 Javascript
ztree实现左边动态生成树右边为内容详情功能
2017/11/03 Javascript
Node.js中的child_process模块详解
2018/06/08 Javascript
JS基于封装函数实现的表格分页完整示例
2018/06/26 Javascript
小程序和web画三角形实现解析
2019/09/02 Javascript
layui字体图标 loading图标静止不旋转的解决方法
2019/09/23 Javascript
vue-video-player视频播放器使用配置详解
2020/10/23 Javascript
Python标准库urllib2的一些使用细节总结
2015/03/16 Python
Python去除列表中重复元素的方法
2015/03/20 Python
python计算一个序列的平均值的方法
2015/07/11 Python
深入讲解Python中的迭代器和生成器
2015/10/26 Python
用tensorflow构建线性回归模型的示例代码
2018/03/05 Python
python实现数据分析与建模
2019/07/11 Python
Python Opencv 通过轨迹(跟踪)栏实现更改整张图像的背景颜色
2020/03/09 Python
HTML5 Canvas实现360度全景图的示例代码
2018/01/29 HTML / CSS
教学个人的自我评价分享
2014/02/16 职场文书
授权收款委托书范本
2014/10/10 职场文书
大学毕业生自我评价
2015/03/02 职场文书
地雷战观后感
2015/06/09 职场文书
小程序后台PHP版本部署运行 LNMP+WNMP
2021/04/01 Servers
基于CSS3画一个iPhone
2021/04/21 HTML / CSS
CSS浮动引起的高度塌陷问题
2022/08/05 HTML / CSS