pandas中read_csv、rolling、expanding用法详解


Posted in Python onApril 21, 2020

如下所示:

import pandas as pd
from pandas import DataFrame

series = pd.read_csv('daily-min-temperatures.csv',header=0, index_col=0,
      parse_dates=True,squeeze=True)
temps = DataFrame(series.values)
width = 3
shifted = temps.shift(width-1)
print(shifted)
window = shifted.rolling(window=width)
dataframe = DataFrame()
dataframe = pd.concat([window.min(),window.mean(),window.max(),temps],axis=1)
dataframe.columns=['min','mean','max','t+1']
print(dataframe.head(5))

read_csv中参数用法:

当设置 header=None 时,则认为csv文件没有列索引,为其添加相应范围的索引,range(1,1200)指建立索引号从1开始最大到1199的列索引,当数据长度超过范围时,索引沿列数据的右侧对齐。

obj=pd.read_csv('testdata.csv',header=0,names=range(1,4))

当设置 header=0 时,则认为csv文件数据第一行是列索引,将用新的列索引替换旧的列索引。

obj=pd.read_csv('testdata.csv',index_col=0,usecols=[1,2,3])

当设置 index_col=0 时,则是csv文件数据的指定数据中的第一列是行索引,usecols指选中数据的对应列数,[1,2,3]指第2列到第4列。

obj=pd.read_csv('testdata.csv',index_col=0,usecols=5)

用usecols选择前n行数据进行后续处理,n为正整型。

rolling用法:

源代码

def rolling(self, *args, **kwargs):
  """
  Return a rolling grouper, providing rolling functionality per group.
  """
  from pandas.core.window import RollingGroupby

  return RollingGroupby(self, *args, **kwargs)

 @Substitution(name="groupby")
 @Appender(_common_see_also)

pandas中read_csv、rolling、expanding用法详解

用法代码演示

上面我们介绍了滑动窗口的概念及实现函数的参数,下面我们通过代码演示,依次展示各参数的作用。

import matplotlib.pylab as plt
import numpy as np
import pandas as pd
index=pd.date_range('20190116','20190130')
data=[4,8,6,5,9,1,4,5,2,4,6,7,9,13,6]
ser_data=pd.Series(data,index=index)
print(ser_data)

pandas中read_csv、rolling、expanding用法详解

加入rolling使用时间窗后及具体原理

ser_data.rolling(3).mean()

pandas中read_csv、rolling、expanding用法详解

min_periods用法

如上图所示,当窗口开始滑动时,第一个时间点和第二个时间点的时间为空,这是因为这里窗口长度为3,他们前面的数都不够3,所以到2019-01-18时,他的数据就是2019-01-16到2019-01-18三天的均值。那么有人就会这样想,在计算2019-01-16序列的窗口数据时,虽然不够窗口长度3,但是至少有当天的数据,那么能否就用当天的数据代表窗口数据呢?答案是肯定的,这里我们可以通过min_periods参数控制,表示窗口最少包含的观测值,小于这个值的窗口长度显示为空,等于和大于时有值,如下所示:

表示窗口最少包含的观测值为1

ser_data.rolling(3,min_periods=1).mean()

pandas中read_csv、rolling、expanding用法详解

expanding用法

征用前面全部的数据

pandas中read_csv、rolling、expanding用法详解

代码详解

import pandas as pd
from pandas import DataFrame

series = pd.read_csv('daily-min-temperatures.csv',header=0, index_col=0,
      parse_dates=True,squeeze=True)
temps = DataFrame(series.values)
window = temps.expanding()
dataframe = DataFrame()
dataframe = pd.concat([window.min(),window.mean(),window.max(),temps.shift(-1)],axis=1)
dataframe.columns=['min','mean','max','t+1']
print(dataframe.head(5))

输出结果

pandas中read_csv、rolling、expanding用法详解

expanding可去除NaN值

以上这篇pandas中read_csv、rolling、expanding用法详解就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python删除指定目录下过期文件的2个脚本分享
Apr 10 Python
Python闭包实现计数器的方法
May 05 Python
TensorFlow中权重的随机初始化的方法
Feb 11 Python
浅谈Python中的私有变量
Feb 28 Python
Python机器学习k-近邻算法(K Nearest Neighbor)实例详解
Jun 25 Python
详解Python的数据库操作(pymysql)
Apr 04 Python
Python QQBot库的QQ聊天机器人
Jun 19 Python
tensorflow实现读取模型中保存的值 tf.train.NewCheckpointReader
Feb 10 Python
python实现贪吃蛇游戏源码
Mar 21 Python
python+selenium+chromedriver实现爬虫示例代码
Apr 10 Python
使用python爬取抖音app视频的实例代码
Dec 01 Python
教你如何用python开发一款数字推盘小游戏
Apr 14 Python
Django如何使用jwt获取用户信息
Apr 21 #Python
Python发起请求提示UnicodeEncodeError错误代码解决方法
Apr 21 #Python
Pandas之read_csv()读取文件跳过报错行的解决
Apr 21 #Python
基于python实现数组格式参数加密计算
Apr 21 #Python
python实现与redis交互操作详解
Apr 21 #Python
Django-migrate报错问题解决方案
Apr 21 #Python
pandas读取csv文件提示不存在的解决方法及原因分析
Apr 21 #Python
You might like
PHP中exec函数和shell_exec函数的区别
2014/08/20 PHP
PHP中使用GD库创建圆形饼图的例子
2014/11/19 PHP
laravel框架实现去掉URL中index.php的方法
2019/10/12 PHP
thinkphp5实现微信扫码支付
2019/12/23 PHP
js中的异常处理try...catch使用介绍
2013/09/21 Javascript
原生js结合html5制作简易的双色子游戏
2015/03/30 Javascript
详解AngularJs中$sce与$sceDelegate上下文转义服务
2016/09/21 Javascript
使用bootstraptable插件实现表格记录的查询、分页、排序操作
2017/08/06 Javascript
JavaScript实现微信号随机切换代码
2018/03/09 Javascript
Vue 去除路径中的#号
2018/04/19 Javascript
layui的table中显示图片方法
2018/08/17 Javascript
js中比较两个对象是否相同的方法示例
2019/09/02 Javascript
Vue ​v-model相关知识总结
2021/01/28 Vue.js
wxPython 入门教程
2008/10/07 Python
简单介绍Python中利用生成器实现的并发编程
2015/05/04 Python
浅谈终端直接执行py文件,不需要python命令
2017/01/23 Python
Python 12306抢火车票脚本
2018/02/07 Python
python使用锁访问共享变量实例解析
2018/02/08 Python
Django ModelForm组件使用方法详解
2019/07/23 Python
Atom Python 配置Python3 解释器的方法
2019/08/28 Python
python3.8 微信发送服务器监控报警消息代码实现
2019/11/05 Python
python分布式计算dispy的使用详解
2019/12/22 Python
pycharm无法导入本地模块的解决方式
2020/02/12 Python
基于jupyter代码无法在pycharm中运行的解决方法
2020/04/21 Python
读取nii或nii.gz文件中的信息即输出图像操作
2020/07/01 Python
几款Python编译器比较与推荐(小结)
2020/10/15 Python
html5 利用重力感应实现摇一摇换颜色可用来做抽奖等等
2014/05/07 HTML / CSS
吃透移动端 Html5 响应式布局
2019/12/16 HTML / CSS
办公室员工岗位工作职责
2014/03/10 职场文书
对祖国的寄语大全
2014/04/11 职场文书
英语一分钟演讲稿
2014/04/29 职场文书
婚前协议书范本两则
2014/10/16 职场文书
教师节大会主持词
2015/07/06 职场文书
(开源)微信小程序+mqtt,esp8266温湿度读取
2021/04/02 Javascript
python opencv旋转图片的使用方法
2021/06/04 Python
Mysql的Table doesn't exist问题及解决
2022/12/24 MySQL