python 数据提取及拆分的实现代码


Posted in Python onAugust 26, 2019

K线数据提取

python 数据提取及拆分的实现代码

依据原有数据集格式,按要求生成新表:

1、每分钟的close数据的第一条、最后一条、最大值及最小值,

2、每分钟vol数据的增长量(每分钟vol的最后一条数据减第一条数据)

3、汇总这些信息生成一个新表

(字段名:[‘time',‘open',‘close',‘high',‘low',‘vol'])

import pandas as pd 
import time 
start=time.time()
df=pd.read_csv('data.csv')
df=df.drop('id',axis=1)    #删除id列 
df1=pd.DataFrame(columns=['time','open','close','high','low','vol'])#新建目标数据表

for i in df.groupby('time'):   #按时间分组
  new_df=pd.DataFrame(columns=['time','open','close','high','low','vol']) #新建空表用于临时转存要求数据
  new_df.time=i[1].time[0:1]  #取每组时间为新表时间
  new_df.open=i[1].close[0:1]  #取每组第一个close数据为新表open数据
  new_df.close=i[1]['close'].iloc[-1]  #取每组最后一个close数据为新表close数据
  new_df.high=i[1]['close'].max()  #取每组close数据最大值为新表hige数据
  new_df.low=i[1]['close'].min()  #取每组close数据最小值为新表low数据
  new_df.vol=i[1]['vol'].iloc[-1] - i[1]['vol'].iloc[0] #用每组vol数据最大值减去最小值为新表vol数据
  df1=pd.concat([new_df,df1],axis=0)  #纵向合并数据到目标数据表
  
df2=df1.sort_values('time')  #按time列值进行排序
df2.reset_index(inplace=True, drop=True)  #重置行索引
print(df2)  #打印目标数据表
stop=time.time()  #查看耗时
print('共计耗时:{}秒'.format(stop-start))

python 数据提取及拆分的实现代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
pygame学习笔记(2):画点的三种方法和动画实例
Apr 15 Python
在Python的web框架中编写创建日志的程序的教程
Apr 30 Python
Python实时获取cmd的输出
Dec 13 Python
Python3中类、模块、错误与异常、文件的简易教程
Nov 20 Python
分分钟入门python语言
Mar 20 Python
Sanic框架安装与简单入门示例
Jul 16 Python
python爬虫URL重试机制的实现方法(python2.7以及python3.5)
Dec 18 Python
Python基于机器学习方法实现的电影推荐系统实例详解
Jun 25 Python
window7下的python2.7版本和python3.5版本的opencv-python安装过程
Oct 24 Python
如何基于python实现归一化处理
Jan 20 Python
python 实现 hive中类似 lateral view explode的功能示例
May 18 Python
python3 简单实现组合设计模式
Jul 02 Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
深入学习python多线程与GIL
Aug 26 #Python
You might like
第十一节 重载 [11]
2006/10/09 PHP
巧用php中的array_filter()函数去掉多维空值的代码分享
2012/09/07 PHP
PHP编写文件多服务器同步程序
2016/07/02 PHP
ASP.NET jQuery 实例6 (实现CheckBoxList成员全选或全取消)
2012/01/13 Javascript
jQuery中not()方法用法实例
2015/01/06 Javascript
Express实现前端后端通信上传图片之存储数据库(mysql)傻瓜式教程(一)
2015/12/10 Javascript
详解JavaScript数组和字符串中去除重复值的方法
2016/03/07 Javascript
JS两个数组比较,删除重复值的巧妙方法(推荐)
2016/06/03 Javascript
javascript使用 concat 方法对数组进行合并的方法
2016/09/08 Javascript
JS字符串长度判断,超出进行自动截取的实例(支持中文)
2017/03/06 Javascript
javascript数据结构之串的概念与用法分析
2017/04/12 Javascript
vue-cli 打包后提交到线上出现 "Uncaught SyntaxError:Unexpected token" 报错
2018/11/06 Javascript
使用vuex解决刷新页面state数据消失的问题记录
2019/05/08 Javascript
jquery实现点击左右按钮切换图片
2021/01/27 jQuery
[12:29]2018国际邀请赛 开幕秀
2018/08/22 DOTA
python动态监控日志内容的示例
2014/02/16 Python
Python实现获取网站PR及百度权重
2015/01/21 Python
python如何获取服务器硬件信息
2017/05/11 Python
pandas 按照特定顺序输出的实现代码
2018/07/10 Python
Python3 执行系统命令并获取实时回显功能
2019/07/09 Python
详解Python是如何实现issubclass的
2019/07/24 Python
tensorflow的ckpt及pb模型持久化方式及转化详解
2020/02/12 Python
Virtualenv 搭建 Py项目运行环境的教程详解
2020/06/22 Python
使用HTML5加载音频和视频的实现代码
2020/11/30 HTML / CSS
FC-Moto瑞典:欧洲最大的摩托车服装和头盔商店之一
2018/11/27 全球购物
Dr. Martens马汀博士澳大利亚官网:马丁靴鼻祖
2019/07/02 全球购物
英国玛莎百货新西兰:Marks & Spencer New Zealand
2019/07/21 全球购物
机械设计专业应届生求职信
2013/11/21 职场文书
毕业研究生的自我鉴定
2013/11/30 职场文书
煤矿班组长岗位职责
2013/12/29 职场文书
机关门卫岗位职责
2013/12/30 职场文书
天鹅的故事教学反思
2014/02/04 职场文书
地方课程教学计划
2015/01/19 职场文书
出纳2015年度工作总结范文
2015/10/14 职场文书
机械生产实习心得体会
2016/01/22 职场文书
alibaba seata服务端具体实现
2022/02/24 Java/Android