利用numpy和pandas处理csv文件中的时间方法


Posted in Python onApril 19, 2018

环境:numpy,pandas,python3

在机器学习和深度学习的过程中,对于处理预测,回归问题,有时候变量是时间,需要进行合适的转换处理后才能进行学习分析,关于时间的变量如下所示,利用pandas和numpy对csv文件中时间进行处理。

date (UTC) Price 
01/01/2015 0:00 48.1 
01/01/2015 1:00 47.33 
01/01/2015 2:00 42.27
#coding:utf-8
import datetime
import pandas as pd
import numpy as np
import pickle
#用pandas将时间转为标准格式
dateparse = lambda dates: pd.datetime.strptime(dates,'%d/%m/%Y %H:%M')
#将时间栏合并,并转为标准时间格式
rawdata = pd.read_csv('RealMarketPriceDataPT.csv',parse_dates={'timeline':['date','(UTC)']},date_parser=dateparse)
#定义一个将时间转为数字的函数,s为字符串
def datestr2num(s):
 #toordinal()将时间格式字符串转为数字
 return datetime.datetime.strptime(s,'%Y-%m-%d %H:%M:%S').toordinal()
x = []
y = []
new_date = []
for i in range(rawdata.shape[0]):
 x_convert = int(datestr2num(str(rawdata.ix[i,0])))
 new_date.append(x_convert)
 y_convert = rawdata.ix[i,1].astype(np.float32)
 x.append(x_convert)
 y.append(y_convert)
x = np.array(x).astype(np.float32)
"""
with open('price.pickle','wb') as f:
 pickle.dump((x,y),f)
"""
print(datetime.datetime.fromordinal(new_date[0]),'------>>>>>>',new_date[0])
print(datetime.datetime.fromordinal(new_date[10]),'------>>>>>>',new_date[10])
print(datetime.datetime.fromordinal(new_date[20]),'------>>>>>>',new_date[20])
print(datetime.datetime.fromordinal(new_date[30]),'------>>>>>>',new_date[30])
print(datetime.datetime.fromordinal(new_date[40]),'------>>>>>>',new_date[40])
print(datetime.datetime.fromordinal(new_date[50]),'------>>>>>>',new_date[50])

结果

将csv文件中的时间栏合并为一列,并转为方便数据分析的float或int类型

利用numpy和pandas处理csv文件中的时间方法

以上这篇利用numpy和pandas处理csv文件中的时间方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
数据挖掘之Apriori算法详解和Python实现代码分享
Nov 07 Python
在Django的模型中添加自定义方法的示例
Jul 21 Python
Python实现句子翻译功能
Nov 14 Python
python3实现磁盘空间监控
Jun 21 Python
详解Django的model查询操作与查询性能优化
Oct 16 Python
Python设计模式之建造者模式实例详解
Jan 17 Python
python使用原始套接字发送二层包(链路层帧)的方法
Jul 22 Python
关于Python-faker的函数效果一览
Nov 28 Python
tensorflow实现测试时读取任意指定的check point的网络参数
Jan 21 Python
python实现简单学生信息管理系统
Apr 09 Python
30行Python代码实现高分辨率图像导航的方法
May 22 Python
深入了解Python 变量作用域
Jul 24 Python
Python处理CSV与List的转换方法
Apr 19 #Python
python3+PyQt5重新实现QT事件处理程序
Apr 19 #Python
python3+PyQt5重新实现自定义数据拖放处理
Apr 19 #Python
python之从文件读取数据到list的实例讲解
Apr 19 #Python
python实现读取大文件并逐行写入另外一个文件
Apr 19 #Python
python按行读取文件,去掉每行的换行符\n的实例
Apr 19 #Python
PyQt5每天必学之拖放事件
Aug 27 #Python
You might like
全国FM电台频率大全 - 11 浙江省
2020/03/11 无线电
国产PHP开发框架myqee新手快速入门教程
2014/07/14 PHP
php验证session无效的解决方法
2014/11/04 PHP
php中静态类与静态变量用法的区别分析
2015/01/15 PHP
Yii2 assets清除缓存的方法
2016/05/16 PHP
实例讲解PHP表单验证功能
2019/02/15 PHP
php实现session共享的实例方法
2019/09/19 PHP
关于Yii2框架跑脚本时内存泄漏问题的分析与解决
2019/12/01 PHP
如何在Laravel5.8中正确地应用Repository设计模式
2019/11/26 PHP
JavaScript解析URL参数示例代码
2013/08/12 Javascript
js实现ifram取父窗口URL地址的方法
2015/02/09 Javascript
jQuery版AJAX简易封装代码
2016/09/14 Javascript
JavaScript实现前端实时搜索功能
2020/03/26 Javascript
js canvas画布实现高斯模糊效果
2018/11/27 Javascript
解决vue中使用proxy配置不同端口和ip接口问题
2019/08/14 Javascript
微信小程序scroll-view实现滚动到锚点左侧导航栏点餐功能(点击种类,滚动到锚点)
2020/06/11 Javascript
python动态性强类型用法实例
2015/05/09 Python
Python3实现将文件树中所有文件和子目录归档到tar压缩文件的方法
2015/05/22 Python
Python3 适合初学者学习的银行账户登录系统实例
2017/08/08 Python
浅谈Python中的作用域规则和闭包
2018/03/20 Python
Python批量删除只保留最近几天table的代码实例
2019/04/01 Python
keras模型可视化,层可视化及kernel可视化实例
2020/01/24 Python
TensorFlow设置日志级别的几种方式小结
2020/02/04 Python
Python使用扩展库pywin32实现批量文档打印实例
2020/04/09 Python
python单例模式的应用场景实例讲解
2021/02/24 Python
HTML5拖放效果的实现代码
2016/11/17 HTML / CSS
上海奥佳笔试题面试题
2016/11/16 面试题
医药类个人求职的自我评价
2014/02/12 职场文书
保护环境的标语
2014/06/09 职场文书
医德考评自我评价
2014/09/14 职场文书
篮球友谊赛通讯稿
2014/10/10 职场文书
项目转让协议书
2014/10/27 职场文书
幼儿教师师德师风自我评价
2015/03/05 职场文书
2016天猫双十一广告语
2016/01/28 职场文书
红灯733-1型14管5波段半导体收音机
2021/04/22 无线电
Mysql排序的特性详情
2021/11/01 MySQL