Pandas Shift函数的基础入门学习笔记


Posted in Python onNovember 16, 2018

Pandas Shift函数基础

在使用Pandas的过程中,有时会遇到shift函数,今天就一起来彻底学习下。先来看看帮助文档是怎么说的:

>>> import pandas
>>> help(pandas.DataFrame.shift)
Help on function shift in module pandas.core.frame:
 
shift(self, periods=1, freq=None, axis=0)
 Shift index by desired number of periods with an optional time freq
 
 Parameters
 ----------
 periods : int
 Number of periods to move, can be positive or negative
 freq : DateOffset, timedelta, or time rule string, optional
 Increment to use from the tseries module or time rule (e.g. 'EOM').
 See Notes.
 axis : {0 or 'index', 1 or 'columns'}
 
 Notes
 -----
 If freq is specified then the index values are shifted but the data
 is not realigned. That is, use freq if you would like to extend the
 index when shifting and preserve the original data.
 
 Returns
 -------
 shifted : DataFrame

该函数主要的功能就是使数据框中的数据移动,若freq=None时,根据axis的设置,行索引数据保持不变,列索引数据可以在行上上下移动或在列上左右移动;若行索引为时间序列,则可以设置freq参数,根据periods和freq参数值组合,使行索引每次发生periods*freq偏移量滚动,列索引数据不会移动。

参数详解:

  • period:表示移动的幅度,可以是正数,也可以是负数,默认值是1,1就表示移动一次,注意这里移动的都是数据,而索引是不移动的,移动之后没有对应值的,就赋值为NaN。
  • freq: DateOffset, timedelta, or time rule string,可选参数,默认值为None,只适用于时间序列,如果这个参数存在,那么会按照参数值移动时间索引,而数据值没有发生变化。
  • axis: {0, 1, ‘index', ‘columns'},表示移动的方向,如果是0或者'index'表示上下移动,如果是1或者'columns',则会左右移动。

先来看一下一些简单的示例:

1、非时间索引下period的设置

假设存在一个DataFrame数据df:

index value1
A 0
B 1
C 2
D 3

如果执行以下代码  df.shift()  就会变成如下:

index value1
A NaN
B 0
C 1
D 2

执行 df.shift(2) 就会得到:

index value1
A NaN
B NaN
C 0
D 1

执行 df.shift(-1) 会得到:

index value1
A 1
B 2
C 3
D NaN

注意,shift移动的是整个数据,如果df有如下多列数据:

AA BB CC DD
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15

执行 df.shift(2) 的数据为:

AA BB CC DD
a NaN NaN NaN NaN
b NaN NaN NaN NaN
c 0.0 1.0 2.0 3.0
d 4.0 5.0 6.0 7.0

如果只想移动df中的某一列数据,则需要这样操作: df['DD']= df['DD'].shift(1)

执行后的数据为:

AA BB CC DD
a 0 1 2 NaN
b 4 5 6 NaN
c 8 9 10 11
d 12 13 14 15

2、时间索引下freq 参数设置

假设存在如下DataFrame的df:

df = pd.DataFrame(np.arange(16).reshape(4,4),columns=['AA','BB','CC','DD'],index =pd.date_range('2012-06-01','2012-06-04'))
AA BB CC DD
2012-06-01 0 1 2 3
2012-06-02 4 5 6 7
2012-06-03 8 9 10 11
2012-06-04 12 13 14 15

执行 df.shift(freq=datetime.timedelta(1))  后:

AA BB CC DD
2012-06-02 0 1 2 3
2012-06-03 4 5 6 7
2012-06-04 8 9 10 11
2012-06-05 12 13 14 15

执行 df.shift(freq=datetime.timedelta(-2)) 后:

AA BB CC DD
2012-05-30 0 1 2 3
2012-05-31 4 5 6 7
2012-06-01 8 9 10 11
2012-06-02 12 13 14 15

可以看到索引直接变了。

3、axis轴向设置

df = pd.DataFrame(np.arange(16).reshape(4,4),columns=['AA','BB','CC','DD'],index =['a','b','c','d'])
 
df
Out[1]: 
 AA BB CC DD
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15
#当period为正时,默认是axis = 0轴的设定,向下移动
df.shift(2)
Out[2]: 
 AA BB CC DD
a NaN NaN NaN NaN
b NaN NaN NaN NaN
c 0.0 1.0 2.0 3.0
d 4.0 5.0 6.0 7.0
#当axis=1,沿水平方向进行移动,正数向右移,负数向左移
df.shift(2,axis = 1)
Out[3]: 
 AA BB CC DD
a NaN NaN 0.0 1.0
b NaN NaN 4.0 5.0
c NaN NaN 8.0 9.0
d NaN NaN 12.0 13.0
#当period为负时,默认是axis = 0轴的设定,向上移动
df.shift(-1)
Out[4]: 
  AA BB CC DD
a 4.0 5.0 6.0 7.0
b 8.0 9.0 10.0 11.0
c 12.0 13.0 14.0 15.0
d NaN NaN NaN NaN

pandas 中上下两行相减(隔行相减) -- shift函数的使用

最近使用pandas处理数据,需求是想相邻两行上下相减,查API发现shift函数,很灵活,。你也可以隔任意行相减。

p['xx_1'] = p["xx"].shift(1)

上面得到的就是xx字段向下移动一行的结果,和之前相比向下移动一行,你可以设置为任意行,也可是向上向下

p['xx'] - p["xx_1"]

这就是前后两行的差值,很方便,Pandas很强大

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
python实现进程间通信简单实例
Jul 23 Python
Python 抓取动态网页内容方案详解
Dec 25 Python
在Python的Django框架中实现Hacker News的一些功能
Apr 17 Python
Python的Django框架中URLconf相关的一些技巧整理
Jul 18 Python
关于Python中浮点数精度处理的技巧总结
Aug 10 Python
Python实现的旋转数组功能算法示例
Feb 23 Python
python是否适合网页编程详解
Oct 04 Python
tensorflow的ckpt及pb模型持久化方式及转化详解
Feb 12 Python
python日期与时间戳的各种转换示例
Feb 12 Python
Python如何在DataFrame增加数值
Feb 14 Python
python针对Oracle常见查询操作实例分析
Apr 30 Python
python属于解释型语言么
Jun 15 Python
Python补齐字符串长度的实例
Nov 15 #Python
python实现对指定字符串补足固定长度倍数截断输出的方法
Nov 15 #Python
Python 输入一个数字判断成绩分数等级的方法
Nov 15 #Python
基于numpy中数组元素的切片复制方法
Nov 15 #Python
对Python中list的倒序索引和切片实例讲解
Nov 15 #Python
对pandas里的loc并列条件索引的实例讲解
Nov 15 #Python
Pandas 按索引合并数据集的方法
Nov 15 #Python
You might like
用Socket发送电子邮件
2006/10/09 PHP
php中session过期时间设置及session回收机制介绍
2014/05/05 PHP
php下载文件源代码(强制任意文件格式下载)
2014/05/09 PHP
destoon后台网站设置变成空白的解决方法
2014/06/21 PHP
PHP回溯法解决0-1背包问题实例分析
2015/03/23 PHP
php无序树实现方法
2015/07/28 PHP
php中namespace use用法实例分析
2016/01/22 PHP
比较完整的微信开发php代码
2016/08/02 PHP
优秀js开源框架-jQuery使用手册(1)
2007/03/10 Javascript
jquery select(列表)的操作(取值/赋值)
2009/08/06 Javascript
node.js中的fs.appendFile方法使用说明
2014/12/17 Javascript
JS实现让访问者自助选择网页文字颜色的方法
2015/02/24 Javascript
使用纯javascript实现经典扫雷游戏
2015/04/23 Javascript
js实现头像图片切割缩放及无刷新上传图片的方法
2015/07/17 Javascript
学习JavaScript设计模式(继承)
2015/11/26 Javascript
JS区分浏览器页面是刷新还是关闭
2016/04/17 Javascript
vuejs响应用户事件(如点击事件)
2017/03/14 Javascript
深入理解AngularJS中的ng-bind-html指令
2017/03/27 Javascript
Nodejs中使用phantom将html转为pdf或图片格式的方法
2017/09/18 NodeJs
基于js原生和ajax的get和post方法以及jsonp的原生写法实例
2017/10/16 Javascript
vue v-model动态生成详解
2018/06/30 Javascript
详解关于element el-button使用$attrs的一个注意要点
2018/11/09 Javascript
nodejs 递归拷贝、读取目录下所有文件和目录
2019/07/18 NodeJs
微信小程序中weui用法解析
2019/10/21 Javascript
[01:03:00]DOTA2上海特级锦标赛A组败者赛 EHOME VS CDEC第一局
2016/02/25 DOTA
Python命令启动Web服务器实例详解
2017/02/23 Python
基于数据归一化以及Python实现方式
2018/07/11 Python
pandas-resample按时间聚合实例
2019/12/27 Python
np.random.seed() 的使用详解
2020/01/14 Python
使用wxpy实现自动发送微信消息功能
2020/02/28 Python
环境保护标语
2014/06/20 职场文书
人身损害赔偿协议书范本
2014/09/27 职场文书
财务总监岗位职责
2015/02/03 职场文书
《用字母表示数》教学反思
2016/02/17 职场文书
python使用matplotlib绘制图片时x轴的刻度处理
2021/08/30 Python
Golang 并发下的问题定位及解决方案
2022/03/16 Golang