python 数据提取及拆分的实现代码


Posted in Python onAugust 26, 2019

K线数据提取

python 数据提取及拆分的实现代码

依据原有数据集格式,按要求生成新表:

1、每分钟的close数据的第一条、最后一条、最大值及最小值,

2、每分钟vol数据的增长量(每分钟vol的最后一条数据减第一条数据)

3、汇总这些信息生成一个新表

(字段名:[‘time',‘open',‘close',‘high',‘low',‘vol'])

import pandas as pd 
import time 
start=time.time()
df=pd.read_csv('data.csv')
df=df.drop('id',axis=1)    #删除id列 
df1=pd.DataFrame(columns=['time','open','close','high','low','vol'])#新建目标数据表

for i in df.groupby('time'):   #按时间分组
  new_df=pd.DataFrame(columns=['time','open','close','high','low','vol']) #新建空表用于临时转存要求数据
  new_df.time=i[1].time[0:1]  #取每组时间为新表时间
  new_df.open=i[1].close[0:1]  #取每组第一个close数据为新表open数据
  new_df.close=i[1]['close'].iloc[-1]  #取每组最后一个close数据为新表close数据
  new_df.high=i[1]['close'].max()  #取每组close数据最大值为新表hige数据
  new_df.low=i[1]['close'].min()  #取每组close数据最小值为新表low数据
  new_df.vol=i[1]['vol'].iloc[-1] - i[1]['vol'].iloc[0] #用每组vol数据最大值减去最小值为新表vol数据
  df1=pd.concat([new_df,df1],axis=0)  #纵向合并数据到目标数据表
  
df2=df1.sort_values('time')  #按time列值进行排序
df2.reset_index(inplace=True, drop=True)  #重置行索引
print(df2)  #打印目标数据表
stop=time.time()  #查看耗时
print('共计耗时:{}秒'.format(stop-start))

python 数据提取及拆分的实现代码

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python list转dict示例分享
Jan 28 Python
Python爬虫抓取代理IP并检验可用性的实例
May 07 Python
使用Django启动命令行及执行脚本的方法
May 29 Python
Python中关键字global和nonlocal的区别详解
Sep 03 Python
python使用xlrd和xlwt读写Excel文件的实例代码
Sep 05 Python
Python图像处理之直线和曲线的拟合与绘制【curve_fit()应用】
Dec 26 Python
Windows 安装 Anaconda3+PyCharm的方法步骤
Jun 13 Python
对Python 中矩阵或者数组相减的法则详解
Aug 26 Python
python 利用pywifi模块实现连接网络破解wifi密码实时监控网络
Sep 16 Python
python爬虫中多线程的使用详解
Sep 23 Python
wxPython色环电阻计算器
Nov 18 Python
pycharm配置安装autopep8自动规范代码的实现
Mar 02 Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
深入学习python多线程与GIL
Aug 26 #Python
You might like
杏林同学录(四)
2006/10/09 PHP
PHP抽象类 介绍
2012/06/13 PHP
php图片合成方法(多张图片合成一张)
2017/11/25 PHP
ECMAScript 基础知识
2007/06/29 Javascript
关于锚点跳转及jQuery下相关操作与插件
2012/10/01 Javascript
JQuery.get提交页面不跳转的解决方法
2015/01/13 Javascript
JS动态修改iframe高度和宽度的方法
2015/04/01 Javascript
JavaScript获取指定元素位置的方法
2015/04/08 Javascript
Bootstrap学习笔记 轮播(Carousel)插件
2017/03/21 Javascript
JS给按钮添加跳转功能类似a标签
2017/05/30 Javascript
BootStrap Validator 根据条件在JS中添加或移除校验操作
2017/10/12 Javascript
基于JavaScript实现表格滚动分页
2017/11/22 Javascript
详解 vue better-scroll滚动插件排坑
2018/02/08 Javascript
express 项目分层实践详解
2018/12/10 Javascript
总结4个方面优化Vue项目
2019/02/11 Javascript
vue中watch和computed为什么能监听到数据的改变以及不同之处
2019/12/27 Javascript
element-plus一个vue3.xUI框架(element-ui的3.x 版初体验)
2020/12/02 Vue.js
[04:56]经典回顾:前Ehome 与 前LGD
2015/02/26 DOTA
Django项目中model的数据处理以及页面交互方法
2018/05/30 Python
Django教程笔记之中间件middleware详解
2018/08/01 Python
pymongo中group by的操作方法教程
2019/03/22 Python
基于python-opencv3的图像显示和保存操作
2019/06/27 Python
django中的图片验证码功能
2019/09/18 Python
python函数声明和调用定义及原理详解
2019/12/02 Python
python GUI计算器的实现
2020/10/09 Python
html5仿支付宝密码框的实现代码
2017/09/06 HTML / CSS
英国第一独立滑雪板商店:The Snowboard Asylum
2020/01/16 全球购物
皮肤科医师岗位职责
2013/12/04 职场文书
客服工作职责
2013/12/11 职场文书
大一学生职业生涯规划
2014/03/11 职场文书
房产公证书
2015/01/23 职场文书
质量整改通知单
2015/04/21 职场文书
学生乘坐校车安全责任书
2015/05/11 职场文书
涨工资申请书应该怎么写?
2019/07/08 职场文书
80行代码写一个Webpack插件并发布到npm
2021/05/24 Javascript
JavaScript中isPrototypeOf函数
2021/11/07 Javascript