利用numpy和pandas处理csv文件中的时间方法


Posted in Python onApril 19, 2018

环境:numpy,pandas,python3

在机器学习和深度学习的过程中,对于处理预测,回归问题,有时候变量是时间,需要进行合适的转换处理后才能进行学习分析,关于时间的变量如下所示,利用pandas和numpy对csv文件中时间进行处理。

date (UTC) Price 
01/01/2015 0:00 48.1 
01/01/2015 1:00 47.33 
01/01/2015 2:00 42.27
#coding:utf-8
import datetime
import pandas as pd
import numpy as np
import pickle
#用pandas将时间转为标准格式
dateparse = lambda dates: pd.datetime.strptime(dates,'%d/%m/%Y %H:%M')
#将时间栏合并,并转为标准时间格式
rawdata = pd.read_csv('RealMarketPriceDataPT.csv',parse_dates={'timeline':['date','(UTC)']},date_parser=dateparse)
#定义一个将时间转为数字的函数,s为字符串
def datestr2num(s):
 #toordinal()将时间格式字符串转为数字
 return datetime.datetime.strptime(s,'%Y-%m-%d %H:%M:%S').toordinal()
x = []
y = []
new_date = []
for i in range(rawdata.shape[0]):
 x_convert = int(datestr2num(str(rawdata.ix[i,0])))
 new_date.append(x_convert)
 y_convert = rawdata.ix[i,1].astype(np.float32)
 x.append(x_convert)
 y.append(y_convert)
x = np.array(x).astype(np.float32)
"""
with open('price.pickle','wb') as f:
 pickle.dump((x,y),f)
"""
print(datetime.datetime.fromordinal(new_date[0]),'------>>>>>>',new_date[0])
print(datetime.datetime.fromordinal(new_date[10]),'------>>>>>>',new_date[10])
print(datetime.datetime.fromordinal(new_date[20]),'------>>>>>>',new_date[20])
print(datetime.datetime.fromordinal(new_date[30]),'------>>>>>>',new_date[30])
print(datetime.datetime.fromordinal(new_date[40]),'------>>>>>>',new_date[40])
print(datetime.datetime.fromordinal(new_date[50]),'------>>>>>>',new_date[50])

结果

将csv文件中的时间栏合并为一列,并转为方便数据分析的float或int类型

利用numpy和pandas处理csv文件中的时间方法

以上这篇利用numpy和pandas处理csv文件中的时间方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中urllib模块用法实例详解
Nov 19 Python
在Python下尝试多线程编程
Apr 28 Python
python实现批量下载新浪博客的方法
Jun 15 Python
python实现栅栏加解密 支持密钥加密
Mar 20 Python
详解用pyecharts Geo实现动态数据热力图城市找不到问题解决
Jun 26 Python
VPS CENTOS 上配置python,mysql,nginx,uwsgi,django的方法详解
Jul 01 Python
关于pycharm中pip版本10.0无法使用的解决办法
Oct 10 Python
Django实现CAS+OAuth2的方法示例
Oct 30 Python
Python正则re模块使用步骤及原理解析
Aug 18 Python
python如何实现DES加密
Sep 21 Python
python3代码中实现加法重载的实例
Dec 03 Python
python实现过滤敏感词
May 08 Python
Python处理CSV与List的转换方法
Apr 19 #Python
python3+PyQt5重新实现QT事件处理程序
Apr 19 #Python
python3+PyQt5重新实现自定义数据拖放处理
Apr 19 #Python
python之从文件读取数据到list的实例讲解
Apr 19 #Python
python实现读取大文件并逐行写入另外一个文件
Apr 19 #Python
python按行读取文件,去掉每行的换行符\n的实例
Apr 19 #Python
PyQt5每天必学之拖放事件
Aug 27 #Python
You might like
Smarty模板快速入门
2007/01/04 PHP
php中将地址生成迅雷快车旋风链接的代码[测试通过]
2011/04/20 PHP
PHP实现普通hash分布式算法简单示例
2018/08/06 PHP
Laravel框架集成UEditor编辑器的方法图文与实例详解
2019/04/17 PHP
TP5框架实现签到功能的方法分析
2020/04/05 PHP
js 字符串转化成数字的代码
2011/06/29 Javascript
jQuery操作select的实例代码
2012/06/14 Javascript
JavaScript高级程序设计 阅读笔记(二十一) JavaScript中的XML
2012/09/14 Javascript
更快的异步执行(setTimeout多浏览器)
2014/08/12 Javascript
在Javascript中处理字符串之big()方法的使用
2015/06/08 Javascript
jquery中表单 多选框的一种巧妙写法
2015/09/06 Javascript
js采用concat和sort将N个数组拼接起来的方法
2016/01/21 Javascript
JavaScript实现图片滑动切换的代码示例分享
2016/03/06 Javascript
JS实现弹出居中的模式窗口示例
2016/06/20 Javascript
jQuery的三种bind/One/Live/On事件绑定使用方法
2017/02/23 Javascript
vue实现全选、反选功能
2020/11/17 Javascript
vue实现tab切换外加样式切换方法
2018/03/16 Javascript
不使用JavaScript实现菜单的打开和关闭效果demo
2018/05/01 Javascript
webpack+vue-cli项目中引入外部非模块格式js的方法
2018/09/28 Javascript
jQuery实现简易聊天框
2020/02/08 jQuery
如何在JavaScript中正确处理变量
2020/12/25 Javascript
老生常谈Python之装饰器、迭代器和生成器
2017/07/26 Python
python模块之sys模块和序列化模块(实例讲解)
2017/09/13 Python
python破解bilibili滑动验证码登录功能
2019/09/11 Python
Python SELENIUM上传文件或图片实现过程
2019/10/28 Python
Django2.1.7 查询数据返回json格式的实现
2020/12/29 Python
Python3.9.1中使用match方法详解
2021/02/08 Python
CSS3用@font-face实现自定义英文字体
2013/09/23 HTML / CSS
PAUL HEWITT手表美国站:德国北部时尚生活配饰品牌,船锚元素
2017/11/18 全球购物
英国邮购活的植物主要供应商:Gardening Direct
2019/01/28 全球购物
德国家用电器购物网站:Premiumshop24
2019/08/22 全球购物
家长评语和期望
2014/02/10 职场文书
小学公民道德宣传日活动总结
2015/03/23 职场文书
学生会主席任命书
2015/09/21 职场文书
导游词之京东大峡谷旅游区
2019/10/29 职场文书
星际争霸:毕姥爷vs解冻01
2022/04/01 星际争霸