利用numpy和pandas处理csv文件中的时间方法


Posted in Python onApril 19, 2018

环境:numpy,pandas,python3

在机器学习和深度学习的过程中,对于处理预测,回归问题,有时候变量是时间,需要进行合适的转换处理后才能进行学习分析,关于时间的变量如下所示,利用pandas和numpy对csv文件中时间进行处理。

date (UTC) Price 
01/01/2015 0:00 48.1 
01/01/2015 1:00 47.33 
01/01/2015 2:00 42.27
#coding:utf-8
import datetime
import pandas as pd
import numpy as np
import pickle
#用pandas将时间转为标准格式
dateparse = lambda dates: pd.datetime.strptime(dates,'%d/%m/%Y %H:%M')
#将时间栏合并,并转为标准时间格式
rawdata = pd.read_csv('RealMarketPriceDataPT.csv',parse_dates={'timeline':['date','(UTC)']},date_parser=dateparse)
#定义一个将时间转为数字的函数,s为字符串
def datestr2num(s):
 #toordinal()将时间格式字符串转为数字
 return datetime.datetime.strptime(s,'%Y-%m-%d %H:%M:%S').toordinal()
x = []
y = []
new_date = []
for i in range(rawdata.shape[0]):
 x_convert = int(datestr2num(str(rawdata.ix[i,0])))
 new_date.append(x_convert)
 y_convert = rawdata.ix[i,1].astype(np.float32)
 x.append(x_convert)
 y.append(y_convert)
x = np.array(x).astype(np.float32)
"""
with open('price.pickle','wb') as f:
 pickle.dump((x,y),f)
"""
print(datetime.datetime.fromordinal(new_date[0]),'------>>>>>>',new_date[0])
print(datetime.datetime.fromordinal(new_date[10]),'------>>>>>>',new_date[10])
print(datetime.datetime.fromordinal(new_date[20]),'------>>>>>>',new_date[20])
print(datetime.datetime.fromordinal(new_date[30]),'------>>>>>>',new_date[30])
print(datetime.datetime.fromordinal(new_date[40]),'------>>>>>>',new_date[40])
print(datetime.datetime.fromordinal(new_date[50]),'------>>>>>>',new_date[50])

结果

将csv文件中的时间栏合并为一列,并转为方便数据分析的float或int类型

利用numpy和pandas处理csv文件中的时间方法

以上这篇利用numpy和pandas处理csv文件中的时间方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python采集博客中上传的QQ截图文件
Jul 18 Python
《Python之禅》中对于Python编程过程中的一些建议
Apr 03 Python
Python实现的括号匹配判断功能示例
Aug 25 Python
Python设计模式之解释器模式原理与用法实例分析
Jan 10 Python
pytorch动态网络以及权重共享实例
Jan 06 Python
.dcm格式文件软件读取及python处理详解
Jan 16 Python
Python 序列化和反序列化库 MarshMallow 的用法实例代码
Feb 25 Python
python新手学习使用库
Jun 11 Python
Python基础教程之输入输出和运算符
Jul 26 Python
Python常用类型转换实现代码实例
Jul 28 Python
Java Unsafe类实现原理及测试代码
Sep 15 Python
Python列表元素删除和remove()方法详解
Jan 04 Python
Python处理CSV与List的转换方法
Apr 19 #Python
python3+PyQt5重新实现QT事件处理程序
Apr 19 #Python
python3+PyQt5重新实现自定义数据拖放处理
Apr 19 #Python
python之从文件读取数据到list的实例讲解
Apr 19 #Python
python实现读取大文件并逐行写入另外一个文件
Apr 19 #Python
python按行读取文件,去掉每行的换行符\n的实例
Apr 19 #Python
PyQt5每天必学之拖放事件
Aug 27 #Python
You might like
解析获取优酷视频真实下载地址的PHP源代码
2013/06/26 PHP
php计算数组不为空元素个数的方法
2014/01/27 PHP
yii2.0框架多模型操作示例【添加/修改/删除】
2020/04/13 PHP
用javascript获取地址栏参数
2006/12/22 Javascript
JQuery实现表格中相同单元格合并示例代码
2013/06/26 Javascript
jquery利用ajax调用后台方法实例
2013/08/23 Javascript
js用typeof方法判断undefined类型
2014/07/15 Javascript
jQuery.Highcharts.js绘制柱状图饼状图曲线图
2015/03/14 Javascript
js由下向上不断上升冒气泡效果实例
2015/05/07 Javascript
jQuery实现带延迟效果的滑动菜单代码
2015/09/02 Javascript
跟我学习javascript的严格模式
2015/11/16 Javascript
在Javascript操作JSON对象,增加 删除 修改的简单实现
2016/06/02 Javascript
Vue路由跳转问题记录详解
2017/06/15 Javascript
vue组件父与子通信详解(一)
2017/11/07 Javascript
解决element UI 自定义传参的问题
2018/08/22 Javascript
vue 使用自定义指令实现表单校验的方法
2018/08/28 Javascript
新年快乐! javascript实现超级炫酷的3D烟花特效
2019/01/30 Javascript
详解小程序如何避免多次点击,重复触发事件
2019/04/08 Javascript
浅析vue-cli3配置webpack-bundle-analyzer插件【推荐】
2019/10/23 Javascript
实现一个Vue自定义指令懒加载的方法示例
2020/06/04 Javascript
python实现端口转发器的方法
2015/03/13 Python
python连接mysql实例分享
2016/10/09 Python
浅谈Python实现贪心算法与活动安排问题
2017/12/19 Python
Python使用matplotlib填充图形指定区域代码示例
2018/01/16 Python
python的dataframe转换为多维矩阵的方法
2018/04/11 Python
使用pandas对两个dataframe进行join的实例
2018/06/08 Python
Python 存储字符串时节省空间的方法
2019/04/23 Python
Python requests设置代理的方法步骤
2020/02/23 Python
Html5 页面适配iPhoneX(就是那么简单)
2019/09/05 HTML / CSS
Html5导航栏吸顶方案原理与对比实现
2020/06/10 HTML / CSS
Contém1g官网:巴西彩妆品牌
2020/01/17 全球购物
伊莱克斯(Electrolux)俄罗斯网上商店:瑞典家用电器品牌
2021/01/23 全球购物
母亲节感恩寄语
2014/02/21 职场文书
三分钟演讲稿事例
2014/03/03 职场文书
求职信标题怎么写
2014/05/26 职场文书
反对形式主义、官僚主义、享乐主义和奢靡之风整改措施
2014/09/17 职场文书