Pytorch 如何实现LSTM时间序列预测


Posted in Python onMay 17, 2021

开发环境说明:

Python 35

Pytorch 0.2

CPU/GPU均可

1、LSTM简介

人类在进行学习时,往往不总是零开始,学习物理你会有数学基础、学习英语你会有中文基础等等。

于是对于机器而言,神经网络的学习亦可不再从零开始,于是出现了Transfer Learning,就是把一个领域已训练好的网络用于初始化另一个领域的任务,例如会下棋的神经网络可以用于打德州扑克。

我们这讲的是另一种不从零开始学习的神经网络——循环神经网络(Recurrent Neural Network, RNN),它的每一次迭代都是基于上一次的学习结果,不断循环以得到对于整体序列的学习,区别于传统的MLP神经网络,这种神经网络模型存在环型结构,

具体下所示:

Pytorch 如何实现LSTM时间序列预测

上图是RNN的基本单元,通过不断循环迭代展开模型如下所示,图中ht是神经网络的在t时刻的输出,xt是t时刻的输入数据。

这种循环结构对时间序列数据能够很好地建模,例如语音识别、语言建模、机器翻译等领域。

Pytorch 如何实现LSTM时间序列预测

但是普通的RNN对于长期依赖问题效果比较差,当序列本身比较长时,由于神经网络模型的训练是采用backward进行,在梯度链式法则中容易出现梯度消失和梯度爆炸的问题,需要进一步改进RNN的模型结构。

针对Simple RNN存在的问题,LSTM网络模型被提出,LSTM的核心是修改了增添了Cell State,即加入了LSTM CELL,通过输入门、输出门、遗忘门把上一时刻的hidden state和cell state传给下一个状态。

如下所示:

Pytorch 如何实现LSTM时间序列预测

遗忘门:ft = sigma(Wf*[ht-1, xt] + bf)

输入门:it = sigma(Wi*[ht-1, xt] + bi)

cell state initial: C't = tanh(Wc*[ht-1, xt] +bc)

cell state: Ct = ft*Ct-1+ itC't

输出门:ot = sigma(Wo*[ht-1, xt] + bo)

模型输出:ht = ot*tanh(Ct)

LSTM有很多种变型结构,实际工程化过程中用的比较多的是peephole,就是计算每个门的时候增添了cell state的信息,有兴趣的童鞋可以专研专研。

上一部分简单地介绍了LSTM的模型结构,下边将具体介绍使用LSTM模型进行时间序列预测的具体过程。

2、数据准备

对于时间序列,本文选取正弦波序列,事先产生一定数量的序列数据,然后截取前部分作为训练数据训练LSTM模型,后部分作为真实值与模型预测结果进行比较。正弦波的产生过程如下:

SeriesGen(N)方法用于产生长度为N的正弦波数值序列;

trainDataGen(seq,k)用于产生训练或测试数据,返回数据结构为输入输出数据。seq为序列数据,k为LSTM模型循环的长度,使用1~k的数据预测2~k+1的数据。

Pytorch 如何实现LSTM时间序列预测

3、模型构建

Pytorch的nn模块提供了LSTM方法,具体接口使用说明可以参见Pytorch的接口使用说明书。此处调用nn.LSTM构建LSTM神经网络,模型另增加了线性变化的全连接层Linear(),但并未加入激活函数。由于是单个数值的预测,这里input_size和output_size都为1.

Pytorch 如何实现LSTM时间序列预测

4、训练和测试

(1)模型定义、损失函数定义

Pytorch 如何实现LSTM时间序列预测

(2)训练与测试

Pytorch 如何实现LSTM时间序列预测

(3)结果展示

比较模型预测序列结果与真实值之间的差距

Pytorch 如何实现LSTM时间序列预测

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
python控制台英汉汉英电子词典
Apr 23 Python
教你用一行Python代码实现并行任务(附代码)
Feb 02 Python
Python3导入自定义模块的三种方法详解
Apr 13 Python
python3实现磁盘空间监控
Jun 21 Python
Python文件循环写入行时防止覆盖的解决方法
Nov 09 Python
Django文件存储 自己定制存储系统解析
Aug 02 Python
解决Python设置函数调用超时,进程卡住的问题
Aug 08 Python
python创建学生成绩管理系统
Nov 22 Python
Pandas时间序列:重采样及频率转换方式
Dec 26 Python
Python函数参数定义及传递方式解析
Jun 10 Python
OpenCV 之按位运算举例解析
Jun 19 Python
python利用递归方法实现求集合的幂集
Sep 07 Python
pytorch实现ResNet结构的实例代码
pytorch常用数据类型所占字节数对照表一览
May 17 #Python
python使用tkinter实现透明窗体上绘制随机出现的小球(实例代码)
Python编写可视化界面的全过程(Python+PyCharm+PyQt)
Pytorch 实现变量类型转换
Python进度条的使用
May 17 #Python
Python包管理工具pip的15 个使用小技巧
You might like
php计算十二星座的函数代码
2012/08/21 PHP
解析使用ThinkPHP应该掌握的调试手段
2013/06/20 PHP
Win7 64位系统下PHP连接Oracle数据库
2014/08/20 PHP
PHP中preg_match函数正则匹配的字符串长度问题
2015/05/27 PHP
PHP简单实现生成txt文件到指定目录的方法
2016/04/25 PHP
Laravel与CI框架中截取字符串函数
2016/05/08 PHP
PHP性能测试工具xhprof安装与使用方法详解
2018/04/29 PHP
在多个页面使用同一个HTML片段的代码
2011/03/04 Javascript
ECMAScript 创建自己的js类库
2012/11/22 Javascript
jquery清空textarea等输入框实现代码
2013/04/22 Javascript
js防止页面被iframe调用的方法
2014/10/30 Javascript
浅谈JavaScript中的String对象常用方法
2015/02/25 Javascript
分享一些常用的jQuery动画事件和动画函数
2015/11/27 Javascript
jQuery中inArray方法注意事项分析
2016/01/25 Javascript
Bootstrap3制作自己的导航栏
2016/05/12 Javascript
微信小程序 图片等比例缩放(图片自适应屏幕)
2016/11/16 Javascript
jquery实现(textarea)placeholder自动换行
2016/12/22 Javascript
Vuejs 单文件组件实例详解
2018/02/09 Javascript
基于Bootstrap下拉框插件bootstrap-select使用方法详解
2018/08/07 Javascript
解决element UI 自定义传参的问题
2018/08/22 Javascript
vue路由对不同界面进行传参及跳转的总结
2019/04/20 Javascript
jQuery 隐藏/显示效果函数用法实例分析
2020/05/20 jQuery
design vue 表格开启列排序的操作
2020/10/28 Javascript
[00:52]玛尔斯技能全介绍
2019/03/06 DOTA
Python实现的tab文件操作类分享
2014/11/20 Python
python迭代dict的key和value的方法
2018/07/06 Python
python sorted函数原理解析及练习
2020/02/10 Python
部署Django到阿里云服务器教程示例
2020/06/03 Python
Python Opencv轮廓常用操作代码实例解析
2020/09/01 Python
详解CSS3+JS完美实现放大镜模式
2020/12/03 HTML / CSS
俄罗斯品牌服装和鞋子在线商店:BRIONITY
2020/03/26 全球购物
大专生的学习自我评价
2013/12/04 职场文书
毕业实习自我鉴定范文2014
2014/09/26 职场文书
2014年服务行业工作总结
2014/11/18 职场文书
2015年城乡环境综合治理工作总结
2015/07/24 职场文书
2016年公司“3.12”植树节活动总结
2016/03/16 职场文书