python 数据提取及拆分的实现代码


Posted in Python onAugust 26, 2019

K线数据提取

python 数据提取及拆分的实现代码

依据原有数据集格式,按要求生成新表:

1、每分钟的close数据的第一条、最后一条、最大值及最小值,

2、每分钟vol数据的增长量(每分钟vol的最后一条数据减第一条数据)

3、汇总这些信息生成一个新表

(字段名:[‘time',‘open',‘close',‘high',‘low',‘vol'])

import pandas as pd 
import time 
start=time.time()
df=pd.read_csv('data.csv')
df=df.drop('id',axis=1)    #删除id列 
df1=pd.DataFrame(columns=['time','open','close','high','low','vol'])#新建目标数据表

for i in df.groupby('time'):   #按时间分组
  new_df=pd.DataFrame(columns=['time','open','close','high','low','vol']) #新建空表用于临时转存要求数据
  new_df.time=i[1].time[0:1]  #取每组时间为新表时间
  new_df.open=i[1].close[0:1]  #取每组第一个close数据为新表open数据
  new_df.close=i[1]['close'].iloc[-1]  #取每组最后一个close数据为新表close数据
  new_df.high=i[1]['close'].max()  #取每组close数据最大值为新表hige数据
  new_df.low=i[1]['close'].min()  #取每组close数据最小值为新表low数据
  new_df.vol=i[1]['vol'].iloc[-1] - i[1]['vol'].iloc[0] #用每组vol数据最大值减去最小值为新表vol数据
  df1=pd.concat([new_df,df1],axis=0)  #纵向合并数据到目标数据表
  
df2=df1.sort_values('time')  #按time列值进行排序
df2.reset_index(inplace=True, drop=True)  #重置行索引
print(df2)  #打印目标数据表
stop=time.time()  #查看耗时
print('共计耗时:{}秒'.format(stop-start))

python 数据提取及拆分的实现代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python+OpenCV人脸检测原理及示例详解
Oct 19 Python
ubuntu安装sublime3并配置python3环境的方法
Mar 15 Python
tensorflow 用矩阵运算替换for循环 用tf.tile而不写for的方法
Jul 27 Python
3个用于数据科学的顶级Python库
Sep 29 Python
使用Python自动化破解自定义字体混淆信息的方法实例
Feb 13 Python
Python机器学习算法库scikit-learn学习之决策树实现方法详解
Jul 04 Python
解决django 新增加用户信息出现错误的问题
Jul 28 Python
利用python实现PSO算法优化二元函数
Nov 13 Python
Python如何把多个PDF文件合并代码实例
Feb 13 Python
python实现同一局域网下传输图片
Mar 20 Python
Django通过json格式收集主机信息
May 29 Python
浅析Python OpenCV三种滤镜效果
Apr 11 Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
深入学习python多线程与GIL
Aug 26 #Python
You might like
文件系统基本操作类
2006/11/23 PHP
php数组指针函数功能及用法示例
2020/02/11 PHP
jQuery checkbox全选/取消全选实现代码
2009/11/14 Javascript
JavaScript 类似flash效果的立体图片浏览器
2010/02/08 Javascript
jQuery在vs2008及js文件中的无智能提示的解决方法
2010/12/30 Javascript
js判断浏览器类型的方法
2013/08/07 Javascript
css3元素简单的闪烁效果实现(html5 jquery)
2013/12/28 Javascript
JQuery做的一个简单的点灯游戏分享
2014/07/16 Javascript
原生JS和JQuery动态添加、删除表格行的方法
2015/05/28 Javascript
Vuex2.0+Vue2.0构建备忘录应用实践
2016/11/30 Javascript
javascript中apply/call和bind的使用
2017/02/15 Javascript
Angular 4依赖注入学习教程之ValueProvider的使用(七)
2017/06/04 Javascript
史上最全JavaScript常用的简写技巧(推荐)
2017/08/17 Javascript
微信小程序踩坑记录之解决tabBar.list[3].selectedIconPath大小超过40kb
2018/07/04 Javascript
vue代码分割的实现(codesplit)
2018/11/13 Javascript
小程序日历控件使用方法详解
2018/12/29 Javascript
JavaScript中的一些实用小技巧总结
2019/04/07 Javascript
vue 的 solt 子组件过滤过程解析
2019/09/07 Javascript
VSCode Vue开发推荐插件和VSCode快捷键(小结)
2020/08/08 Javascript
[07:27]DOTA2卡尔工作室 英雄介绍水晶室女篇
2013/06/21 DOTA
Python批处理更改文件名os.rename的方法
2018/10/26 Python
Python数据抓取爬虫代理防封IP方法
2018/12/23 Python
Python的UTC时间转换讲解
2019/02/26 Python
Win10下Python3.7.3安装教程图解
2019/07/08 Python
Django单元测试工具test client使用详解
2019/08/02 Python
python实现图片压缩代码实例
2019/08/12 Python
pytorch神经网络之卷积层与全连接层参数的设置方法
2019/08/18 Python
python opencv图片编码为h264文件的实例
2019/12/12 Python
使用HTML5做的导航条详细步骤
2020/10/19 HTML / CSS
Nisbets法国:英国最大的厨房和餐饮设备供应商
2019/03/18 全球购物
护林防火标语
2014/06/27 职场文书
手术室护士节演讲稿
2014/08/27 职场文书
2016年11月份红领巾广播稿
2015/12/21 职场文书
2016年全国助残日活动总结
2016/04/01 职场文书
教你做个可爱的css滑动导航条
2021/06/15 HTML / CSS
spring 项目实现限流方法示例
2022/07/15 Java/Android