python 数据提取及拆分的实现代码


Posted in Python onAugust 26, 2019

K线数据提取

python 数据提取及拆分的实现代码

依据原有数据集格式,按要求生成新表:

1、每分钟的close数据的第一条、最后一条、最大值及最小值,

2、每分钟vol数据的增长量(每分钟vol的最后一条数据减第一条数据)

3、汇总这些信息生成一个新表

(字段名:[‘time',‘open',‘close',‘high',‘low',‘vol'])

import pandas as pd 
import time 
start=time.time()
df=pd.read_csv('data.csv')
df=df.drop('id',axis=1)    #删除id列 
df1=pd.DataFrame(columns=['time','open','close','high','low','vol'])#新建目标数据表

for i in df.groupby('time'):   #按时间分组
  new_df=pd.DataFrame(columns=['time','open','close','high','low','vol']) #新建空表用于临时转存要求数据
  new_df.time=i[1].time[0:1]  #取每组时间为新表时间
  new_df.open=i[1].close[0:1]  #取每组第一个close数据为新表open数据
  new_df.close=i[1]['close'].iloc[-1]  #取每组最后一个close数据为新表close数据
  new_df.high=i[1]['close'].max()  #取每组close数据最大值为新表hige数据
  new_df.low=i[1]['close'].min()  #取每组close数据最小值为新表low数据
  new_df.vol=i[1]['vol'].iloc[-1] - i[1]['vol'].iloc[0] #用每组vol数据最大值减去最小值为新表vol数据
  df1=pd.concat([new_df,df1],axis=0)  #纵向合并数据到目标数据表
  
df2=df1.sort_values('time')  #按time列值进行排序
df2.reset_index(inplace=True, drop=True)  #重置行索引
print(df2)  #打印目标数据表
stop=time.time()  #查看耗时
print('共计耗时:{}秒'.format(stop-start))

python 数据提取及拆分的实现代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Flask入门教程实例:搭建一个静态博客
Mar 27 Python
以一个投票程序的实例来讲解Python的Django框架使用
Feb 18 Python
python中私有函数调用方法解密
Apr 29 Python
在Mac下使用python实现简单的目录树展示方法
Nov 01 Python
简单了解python高阶函数map/reduce
Jun 28 Python
Python识别快递条形码及Tesseract-OCR使用详解
Jul 15 Python
Python 动态导入对象,importlib.import_module()的使用方法
Aug 28 Python
python logging通过json文件配置的步骤
Apr 27 Python
python如何求100以内的素数
May 27 Python
pandas 像SQL一样使用WHERE IN查询条件说明
Jun 05 Python
Python调用百度OCR实现图片文字识别的示例代码
Jul 17 Python
Python3安装模块报错Microsoft Visual C++ 14.0 is required的解决方法
Jul 28 Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
深入学习python多线程与GIL
Aug 26 #Python
You might like
thinkphp文件引用与分支结构用法实例
2014/11/26 PHP
Yii框架调试心得--在页面输出执行sql语句
2014/12/25 PHP
PHP使用 Imagick 扩展实现图片合成,圆角处理功能示例
2019/09/09 PHP
jQuery Validation实例代码 让验证变得如此容易
2010/10/18 Javascript
解决jquery的.animate()函数在IE6下的问题
2010/12/03 Javascript
Jsonp 跨域的原理以及Jquery的解决方案
2011/06/27 Javascript
JavaScript实现两个Table固定表头根据页面大小自行调整
2014/01/03 Javascript
在Node.js应用中使用Redis的方法简介
2015/06/24 Javascript
CSS图片响应式 垂直水平居中
2015/08/14 Javascript
跟我学习javascript的循环
2015/11/18 Javascript
JS鼠标拖拽实例分析
2015/11/23 Javascript
bootstrap和jQuery.Gantt的css冲突 如何解决
2016/05/29 Javascript
清除js缓存的多种方法总结
2016/12/09 Javascript
JS实现获取来自百度,Google,soso,sogou关键词的方法
2016/12/21 Javascript
JavaScript寄生组合式继承实例详解
2018/01/06 Javascript
vue 导航内容设置选中状态样式的例子
2019/11/01 Javascript
借助云开发实现小程序短信验证码的发送
2020/01/06 Javascript
JavaScript实现网页动态生成表格
2020/11/25 Javascript
基于Vant UI框架实现时间段选择器
2020/12/24 Javascript
python3使用urllib示例取googletranslate(谷歌翻译)
2014/01/23 Python
Flask框架中密码的加盐哈希加密和验证功能的用法详解
2016/06/07 Python
spark dataframe 将一列展开,把该列所有值都变成新列的方法
2019/01/29 Python
让Python脚本暂停执行的几种方法(小结)
2019/07/11 Python
flask 实现上传图片并缩放作为头像的例子
2020/01/09 Python
pycharm专业版远程登录服务器的详细教程
2020/09/15 Python
HTML5 manifest离线缓存的示例代码
2018/08/08 HTML / CSS
W Hamond官网:始于1979年的钻石专家
2020/07/20 全球购物
中专自我鉴定
2014/02/05 职场文书
物流业务员岗位职责
2014/02/08 职场文书
2014年幼儿园植树节活动方案
2014/03/02 职场文书
幼儿园大班毕业教师寄语
2014/04/03 职场文书
质量承诺书怎么写
2014/05/24 职场文书
小学生感恩父母演讲稿
2014/08/28 职场文书
公务员保密工作承诺书
2015/05/04 职场文书
学校中层领导培训心得体会
2016/01/11 职场文书
python读取mat文件生成h5文件的实现
2022/07/15 Python