python 数据提取及拆分的实现代码


Posted in Python onAugust 26, 2019

K线数据提取

python 数据提取及拆分的实现代码

依据原有数据集格式,按要求生成新表:

1、每分钟的close数据的第一条、最后一条、最大值及最小值,

2、每分钟vol数据的增长量(每分钟vol的最后一条数据减第一条数据)

3、汇总这些信息生成一个新表

(字段名:[‘time',‘open',‘close',‘high',‘low',‘vol'])

import pandas as pd 
import time 
start=time.time()
df=pd.read_csv('data.csv')
df=df.drop('id',axis=1)    #删除id列 
df1=pd.DataFrame(columns=['time','open','close','high','low','vol'])#新建目标数据表

for i in df.groupby('time'):   #按时间分组
  new_df=pd.DataFrame(columns=['time','open','close','high','low','vol']) #新建空表用于临时转存要求数据
  new_df.time=i[1].time[0:1]  #取每组时间为新表时间
  new_df.open=i[1].close[0:1]  #取每组第一个close数据为新表open数据
  new_df.close=i[1]['close'].iloc[-1]  #取每组最后一个close数据为新表close数据
  new_df.high=i[1]['close'].max()  #取每组close数据最大值为新表hige数据
  new_df.low=i[1]['close'].min()  #取每组close数据最小值为新表low数据
  new_df.vol=i[1]['vol'].iloc[-1] - i[1]['vol'].iloc[0] #用每组vol数据最大值减去最小值为新表vol数据
  df1=pd.concat([new_df,df1],axis=0)  #纵向合并数据到目标数据表
  
df2=df1.sort_values('time')  #按time列值进行排序
df2.reset_index(inplace=True, drop=True)  #重置行索引
print(df2)  #打印目标数据表
stop=time.time()  #查看耗时
print('共计耗时:{}秒'.format(stop-start))

python 数据提取及拆分的实现代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python中使用urllib2伪造HTTP报头的2个方法
Jul 07 Python
跟老齐学Python之总结参数的传递
Oct 10 Python
Python中操作mysql的pymysql模块详解
Sep 13 Python
Python实现解析Bit Torrent种子文件内容的方法
Aug 29 Python
Tensorflow实现AlexNet卷积神经网络及运算时间评测
May 24 Python
PyTorch学习笔记之回归实战
May 28 Python
Django的Modelforms用法简介
Jul 27 Python
django 实现将本地图片存入数据库,并能显示在web上的示例
Aug 07 Python
python加载自定义词典实例
Dec 06 Python
tensorflow 保存模型和取出中间权重例子
Jan 24 Python
pandas apply使用多列计算生成新的列实现示例
Feb 24 Python
python通过函数名调用函数的几种方法总结
Jun 07 Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
深入学习python多线程与GIL
Aug 26 #Python
You might like
深入了解PHP类Class的概念
2012/06/14 PHP
PHP图片处理之图片旋转和图片翻转实例
2014/11/19 PHP
PHP答题类应用接口实例
2015/02/09 PHP
PHP redis实现超迷你全文检索
2017/03/04 PHP
php制作圆形用户头像的实例_自定义封装类源代码
2017/09/18 PHP
javascript游戏开发之《三国志曹操传》零部件开发(三)情景对话中仿打字机输出文字
2013/01/23 Javascript
借助JavaScript脚本判断浏览器Flash Player信息的方法
2014/07/09 Javascript
JavaScript实现简单的四则运算计算器完整实例
2017/04/28 Javascript
详解AngularJS controller调用factory
2017/05/19 Javascript
基于复选框demo(分享)
2017/09/27 Javascript
Angular实现的进度条功能示例
2018/02/18 Javascript
vue 使用eventBus实现同级组件的通讯
2018/03/02 Javascript
JavaScript累加、迭代、穷举、递归等常用算法实例小结
2018/05/08 Javascript
NodeJS 中Stream 的基本使用
2018/07/30 NodeJs
微信小程序移动拖拽视图-movable-view实例详解
2019/08/17 Javascript
解决pycharm双击但是无法打开的情况
2020/10/31 Javascript
[01:19:33]DOTA2-DPC中国联赛 正赛 iG vs VG BO3 第一场 2月2日
2021/03/11 DOTA
跟老齐学Python之画圈还不简单吗?
2014/09/20 Python
Python3使用SMTP发送带附件邮件
2020/06/16 Python
Django 多语言教程的实现(i18n)
2018/07/07 Python
python pandas模块基础学习详解
2019/07/03 Python
详解使用python爬取抖音app视频(appium可以操控手机)
2021/01/26 Python
CSS3实现红包抖动效果
2020/12/23 HTML / CSS
HTML5 Canvas玩转酷炫大波浪进度图效果实例(附demo)
2016/12/14 HTML / CSS
三年大学自我鉴定
2014/01/16 职场文书
高中美术教学反思
2014/01/19 职场文书
文科生自我鉴定
2014/02/15 职场文书
软件售后服务方案
2014/05/29 职场文书
大学社团招新的通讯稿
2014/09/10 职场文书
交通事故委托书范本(2篇)
2014/09/21 职场文书
反腐倡廉主题教育活动总结
2015/05/07 职场文书
2015年教务主任工作总结
2015/07/22 职场文书
小学六年级毕业感言
2015/07/30 职场文书
导游词之平津战役纪念馆
2019/11/04 职场文书
javascript Number 与 Math对象的介绍
2021/11/17 Javascript
基于Redis zSet实现滑动窗口对短信进行防刷限流的问题
2022/02/12 Redis