python 数据提取及拆分的实现代码


Posted in Python onAugust 26, 2019

K线数据提取

python 数据提取及拆分的实现代码

依据原有数据集格式,按要求生成新表:

1、每分钟的close数据的第一条、最后一条、最大值及最小值,

2、每分钟vol数据的增长量(每分钟vol的最后一条数据减第一条数据)

3、汇总这些信息生成一个新表

(字段名:[‘time',‘open',‘close',‘high',‘low',‘vol'])

import pandas as pd 
import time 
start=time.time()
df=pd.read_csv('data.csv')
df=df.drop('id',axis=1)    #删除id列 
df1=pd.DataFrame(columns=['time','open','close','high','low','vol'])#新建目标数据表

for i in df.groupby('time'):   #按时间分组
  new_df=pd.DataFrame(columns=['time','open','close','high','low','vol']) #新建空表用于临时转存要求数据
  new_df.time=i[1].time[0:1]  #取每组时间为新表时间
  new_df.open=i[1].close[0:1]  #取每组第一个close数据为新表open数据
  new_df.close=i[1]['close'].iloc[-1]  #取每组最后一个close数据为新表close数据
  new_df.high=i[1]['close'].max()  #取每组close数据最大值为新表hige数据
  new_df.low=i[1]['close'].min()  #取每组close数据最小值为新表low数据
  new_df.vol=i[1]['vol'].iloc[-1] - i[1]['vol'].iloc[0] #用每组vol数据最大值减去最小值为新表vol数据
  df1=pd.concat([new_df,df1],axis=0)  #纵向合并数据到目标数据表
  
df2=df1.sort_values('time')  #按time列值进行排序
df2.reset_index(inplace=True, drop=True)  #重置行索引
print(df2)  #打印目标数据表
stop=time.time()  #查看耗时
print('共计耗时:{}秒'.format(stop-start))

python 数据提取及拆分的实现代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 学习笔记
Dec 27 Python
完美解决Python2操作中文名文件乱码的问题
Jan 04 Python
python之pandas用法大全
Mar 13 Python
python多进程使用及线程池的使用方法代码详解
Oct 24 Python
对Python random模块打乱数组顺序的实例讲解
Nov 08 Python
对YOLOv3模型调用时候的python接口详解
Aug 26 Python
python3实现单目标粒子群算法
Nov 14 Python
有关Tensorflow梯度下降常用的优化方法分享
Feb 04 Python
深入浅析python 中的self和cls的区别
Jun 20 Python
Django haystack实现全文搜索代码示例
Nov 28 Python
关于Python使用turtle库画任意图的问题
Apr 01 Python
Python使用pandas导入csv文件内容的示例代码
Dec 24 Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
深入学习python多线程与GIL
Aug 26 #Python
You might like
解析thinkphp的左右值无限分类
2013/06/20 PHP
php5.2 Json不能正确处理中文、GB编码的解决方法
2014/03/28 PHP
PHP输出日历表代码实例
2015/03/27 PHP
一个XML格式数据转换为图表的例子
2010/02/09 Javascript
关于Jqzoom的使用心得 jquery放大镜效果插件
2010/04/12 Javascript
jQuery的写法不同导致的兼容性问题的解决方法
2010/07/29 Javascript
zeroclipboard复制到剪切板的flash
2010/08/04 Javascript
jquery实现文本框鼠标右击无效以及不能输入的代码
2010/11/05 Javascript
JavaScript与Image加载事件(onload)、加载状态(complete)
2011/02/14 Javascript
通过一段代码简单说js中的this的使用
2013/07/23 Javascript
jQuery中change事件用法实例
2014/12/26 Javascript
使用jQueryMobile实现滑动翻页效果的方法
2015/02/04 Javascript
node.js版本管理工具n无效的原理和解决方法
2016/11/24 Javascript
工厂模式在JS中的实践
2017/01/18 Javascript
jQuery插件FusionWidgets实现的Bulb图效果示例【附demo源码下载】
2017/03/23 jQuery
初探js和简单隐藏效果的实例
2017/11/23 Javascript
vue使用better-scroll实现下拉刷新、上拉加载
2018/11/23 Javascript
nvm、nrm、npm 安装和使用详解(小结)
2019/01/17 Javascript
微信小程序页面上下滚动效果
2020/11/18 Javascript
vue element-ui el-date-picker限制选择时间为当天之前的代码
2019/11/07 Javascript
使用原生JS实现火锅点餐小程序(面向对象思想)
2019/12/10 Javascript
Python获取脚本所在目录的正确方法
2014/04/15 Python
Python中的装饰器用法详解
2015/01/14 Python
Python 中的range(),以及列表切片方法
2018/07/02 Python
Python中浅拷贝copy与深拷贝deepcopy的简单理解
2018/10/26 Python
python实现读取excel文件中所有sheet操作示例
2019/08/09 Python
python 用 xlwings 库 生成图表的操作方法
2019/12/22 Python
Python接口测试get请求过程详解
2020/02/28 Python
利用python绘制数据曲线图的实现
2020/04/09 Python
Python使用pdb调试代码的技巧
2020/05/03 Python
python使用自定义钉钉机器人的示例代码
2020/06/24 Python
如何在网站上添加谷歌定位信息
2016/04/16 HTML / CSS
澳大利亚领先的美容护肤品零售商之一:SkincareStore
2018/01/22 全球购物
Farfetch中文官网:奢侈品牌时尚购物平台
2020/03/15 全球购物
小学运动会报道稿
2014/10/04 职场文书
Linux系统下MySQL配置主从分离的步骤
2022/03/21 MySQL