pandas中read_csv、rolling、expanding用法详解


Posted in Python onApril 21, 2020

如下所示:

import pandas as pd
from pandas import DataFrame

series = pd.read_csv('daily-min-temperatures.csv',header=0, index_col=0,
      parse_dates=True,squeeze=True)
temps = DataFrame(series.values)
width = 3
shifted = temps.shift(width-1)
print(shifted)
window = shifted.rolling(window=width)
dataframe = DataFrame()
dataframe = pd.concat([window.min(),window.mean(),window.max(),temps],axis=1)
dataframe.columns=['min','mean','max','t+1']
print(dataframe.head(5))

read_csv中参数用法:

当设置 header=None 时,则认为csv文件没有列索引,为其添加相应范围的索引,range(1,1200)指建立索引号从1开始最大到1199的列索引,当数据长度超过范围时,索引沿列数据的右侧对齐。

obj=pd.read_csv('testdata.csv',header=0,names=range(1,4))

当设置 header=0 时,则认为csv文件数据第一行是列索引,将用新的列索引替换旧的列索引。

obj=pd.read_csv('testdata.csv',index_col=0,usecols=[1,2,3])

当设置 index_col=0 时,则是csv文件数据的指定数据中的第一列是行索引,usecols指选中数据的对应列数,[1,2,3]指第2列到第4列。

obj=pd.read_csv('testdata.csv',index_col=0,usecols=5)

用usecols选择前n行数据进行后续处理,n为正整型。

rolling用法:

源代码

def rolling(self, *args, **kwargs):
  """
  Return a rolling grouper, providing rolling functionality per group.
  """
  from pandas.core.window import RollingGroupby

  return RollingGroupby(self, *args, **kwargs)

 @Substitution(name="groupby")
 @Appender(_common_see_also)

pandas中read_csv、rolling、expanding用法详解

用法代码演示

上面我们介绍了滑动窗口的概念及实现函数的参数,下面我们通过代码演示,依次展示各参数的作用。

import matplotlib.pylab as plt
import numpy as np
import pandas as pd
index=pd.date_range('20190116','20190130')
data=[4,8,6,5,9,1,4,5,2,4,6,7,9,13,6]
ser_data=pd.Series(data,index=index)
print(ser_data)

pandas中read_csv、rolling、expanding用法详解

加入rolling使用时间窗后及具体原理

ser_data.rolling(3).mean()

pandas中read_csv、rolling、expanding用法详解

min_periods用法

如上图所示,当窗口开始滑动时,第一个时间点和第二个时间点的时间为空,这是因为这里窗口长度为3,他们前面的数都不够3,所以到2019-01-18时,他的数据就是2019-01-16到2019-01-18三天的均值。那么有人就会这样想,在计算2019-01-16序列的窗口数据时,虽然不够窗口长度3,但是至少有当天的数据,那么能否就用当天的数据代表窗口数据呢?答案是肯定的,这里我们可以通过min_periods参数控制,表示窗口最少包含的观测值,小于这个值的窗口长度显示为空,等于和大于时有值,如下所示:

表示窗口最少包含的观测值为1

ser_data.rolling(3,min_periods=1).mean()

pandas中read_csv、rolling、expanding用法详解

expanding用法

征用前面全部的数据

pandas中read_csv、rolling、expanding用法详解

代码详解

import pandas as pd
from pandas import DataFrame

series = pd.read_csv('daily-min-temperatures.csv',header=0, index_col=0,
      parse_dates=True,squeeze=True)
temps = DataFrame(series.values)
window = temps.expanding()
dataframe = DataFrame()
dataframe = pd.concat([window.min(),window.mean(),window.max(),temps.shift(-1)],axis=1)
dataframe.columns=['min','mean','max','t+1']
print(dataframe.head(5))

输出结果

pandas中read_csv、rolling、expanding用法详解

expanding可去除NaN值

以上这篇pandas中read_csv、rolling、expanding用法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
用smtplib和email封装python发送邮件模块类分享
Feb 17 Python
Python文件和流(实例讲解)
Sep 12 Python
将tensorflow的ckpt模型存储为npy的实例
Jul 09 Python
了解不常见但是实用的Python技巧
May 23 Python
Python 数据可视化pyecharts的使用详解
Jun 26 Python
django自带serializers序列化返回指定字段的方法
Aug 21 Python
tensorflow入门:TFRecordDataset变长数据的batch读取详解
Jan 20 Python
tensorboard显示空白的解决
Feb 15 Python
信号生成及DFT的python实现方式
Feb 25 Python
python实现每天自动签到领积分的示例代码
Aug 18 Python
Python 无限级分类树状结构生成算法的实现
Jan 21 Python
Python趣味实战之手把手教你实现举牌小人生成器
Jun 07 Python
Django如何使用jwt获取用户信息
Apr 21 #Python
Python发起请求提示UnicodeEncodeError错误代码解决方法
Apr 21 #Python
Pandas之read_csv()读取文件跳过报错行的解决
Apr 21 #Python
基于python实现数组格式参数加密计算
Apr 21 #Python
python实现与redis交互操作详解
Apr 21 #Python
Django-migrate报错问题解决方案
Apr 21 #Python
pandas读取csv文件提示不存在的解决方法及原因分析
Apr 21 #Python
You might like
YB217、YB235、YB400浅听
2021/03/02 无线电
分享一个超好用的php header下载函数
2014/01/31 PHP
PHP使用GETDATE获取当前日期时间作为一个关联数组的方法
2015/03/19 PHP
在WordPress中实现评论头像的自定义默认和延迟加载
2015/11/24 PHP
PHP实现的用户注册表单验证功能简单示例
2019/02/25 PHP
javascript之querySelector和querySelectorAll使用说明
2011/10/09 Javascript
JavaScript图片放大技术(放大镜)实现代码分享
2013/11/14 Javascript
ExtJS4给Combobox设置列表中的默认值示例
2014/05/02 Javascript
js简单实现Select互换数据的方法
2015/08/17 Javascript
jQuery获取父元素及父节点的方法小结
2016/04/14 Javascript
thinkphp标签实现bootsrtap轮播carousel实例代码
2017/02/19 Javascript
Vue 开发音乐播放器之歌手页右侧快速入口功能
2018/08/08 Javascript
深入Vue-Router路由嵌套理解
2018/08/13 Javascript
vue 解决computed修改data数据的问题
2019/11/06 Javascript
JS 创建对象的模式实例小结
2020/04/28 Javascript
Python 拷贝对象(深拷贝deepcopy与浅拷贝copy)
2008/09/06 Python
python dict remove数组删除(del,pop)
2013/03/24 Python
Python动态加载模块的3种方法
2014/11/22 Python
详解Python的单元测试
2015/04/28 Python
在Django的URLconf中进行函数导入的方法
2015/07/18 Python
详解Python中的正则表达式
2018/07/08 Python
Python设计模式之组合模式原理与用法实例分析
2019/01/11 Python
Python实现制度转换(货币,温度,长度)
2019/07/14 Python
python对XML文件的操作实现代码
2020/03/27 Python
详解CSS3中Media Queries的相关使用
2015/07/17 HTML / CSS
CSS3绘制超炫的上下起伏波动进度加载动画
2016/04/21 HTML / CSS
详解HTML5中CSS外观属性
2020/09/10 HTML / CSS
幼儿教师研修感言
2014/02/12 职场文书
爱岗敬业演讲稿
2014/05/05 职场文书
保卫钓鱼岛口号
2014/06/20 职场文书
整顿机关作风心得体会
2014/09/10 职场文书
物流业务员岗位职责
2015/04/03 职场文书
2015学校图书管理员工作总结
2015/05/11 职场文书
离婚协议书格式范本
2016/03/18 职场文书
2019年励志签名:致拼搏路上的自己
2019/10/11 职场文书
三种方式清除vue路由跳转router-link的历史记录
2022/04/10 Vue.js