Pandas Shift函数的基础入门学习笔记


Posted in Python onNovember 16, 2018

Pandas Shift函数基础

在使用Pandas的过程中,有时会遇到shift函数,今天就一起来彻底学习下。先来看看帮助文档是怎么说的:

>>> import pandas
>>> help(pandas.DataFrame.shift)
Help on function shift in module pandas.core.frame:
 
shift(self, periods=1, freq=None, axis=0)
 Shift index by desired number of periods with an optional time freq
 
 Parameters
 ----------
 periods : int
 Number of periods to move, can be positive or negative
 freq : DateOffset, timedelta, or time rule string, optional
 Increment to use from the tseries module or time rule (e.g. 'EOM').
 See Notes.
 axis : {0 or 'index', 1 or 'columns'}
 
 Notes
 -----
 If freq is specified then the index values are shifted but the data
 is not realigned. That is, use freq if you would like to extend the
 index when shifting and preserve the original data.
 
 Returns
 -------
 shifted : DataFrame

该函数主要的功能就是使数据框中的数据移动,若freq=None时,根据axis的设置,行索引数据保持不变,列索引数据可以在行上上下移动或在列上左右移动;若行索引为时间序列,则可以设置freq参数,根据periods和freq参数值组合,使行索引每次发生periods*freq偏移量滚动,列索引数据不会移动。

参数详解:

  • period:表示移动的幅度,可以是正数,也可以是负数,默认值是1,1就表示移动一次,注意这里移动的都是数据,而索引是不移动的,移动之后没有对应值的,就赋值为NaN。
  • freq: DateOffset, timedelta, or time rule string,可选参数,默认值为None,只适用于时间序列,如果这个参数存在,那么会按照参数值移动时间索引,而数据值没有发生变化。
  • axis: {0, 1, ‘index', ‘columns'},表示移动的方向,如果是0或者'index'表示上下移动,如果是1或者'columns',则会左右移动。

先来看一下一些简单的示例:

1、非时间索引下period的设置

假设存在一个DataFrame数据df:

index value1
A 0
B 1
C 2
D 3

如果执行以下代码  df.shift()  就会变成如下:

index value1
A NaN
B 0
C 1
D 2

执行 df.shift(2) 就会得到:

index value1
A NaN
B NaN
C 0
D 1

执行 df.shift(-1) 会得到:

index value1
A 1
B 2
C 3
D NaN

注意,shift移动的是整个数据,如果df有如下多列数据:

AA BB CC DD
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15

执行 df.shift(2) 的数据为:

AA BB CC DD
a NaN NaN NaN NaN
b NaN NaN NaN NaN
c 0.0 1.0 2.0 3.0
d 4.0 5.0 6.0 7.0

如果只想移动df中的某一列数据,则需要这样操作: df['DD']= df['DD'].shift(1)

执行后的数据为:

AA BB CC DD
a 0 1 2 NaN
b 4 5 6 NaN
c 8 9 10 11
d 12 13 14 15

2、时间索引下freq 参数设置

假设存在如下DataFrame的df:

df = pd.DataFrame(np.arange(16).reshape(4,4),columns=['AA','BB','CC','DD'],index =pd.date_range('2012-06-01','2012-06-04'))
AA BB CC DD
2012-06-01 0 1 2 3
2012-06-02 4 5 6 7
2012-06-03 8 9 10 11
2012-06-04 12 13 14 15

执行 df.shift(freq=datetime.timedelta(1))  后:

AA BB CC DD
2012-06-02 0 1 2 3
2012-06-03 4 5 6 7
2012-06-04 8 9 10 11
2012-06-05 12 13 14 15

执行 df.shift(freq=datetime.timedelta(-2)) 后:

AA BB CC DD
2012-05-30 0 1 2 3
2012-05-31 4 5 6 7
2012-06-01 8 9 10 11
2012-06-02 12 13 14 15

可以看到索引直接变了。

3、axis轴向设置

df = pd.DataFrame(np.arange(16).reshape(4,4),columns=['AA','BB','CC','DD'],index =['a','b','c','d'])
 
df
Out[1]: 
 AA BB CC DD
a 0 1 2 3
b 4 5 6 7
c 8 9 10 11
d 12 13 14 15
#当period为正时,默认是axis = 0轴的设定,向下移动
df.shift(2)
Out[2]: 
 AA BB CC DD
a NaN NaN NaN NaN
b NaN NaN NaN NaN
c 0.0 1.0 2.0 3.0
d 4.0 5.0 6.0 7.0
#当axis=1,沿水平方向进行移动,正数向右移,负数向左移
df.shift(2,axis = 1)
Out[3]: 
 AA BB CC DD
a NaN NaN 0.0 1.0
b NaN NaN 4.0 5.0
c NaN NaN 8.0 9.0
d NaN NaN 12.0 13.0
#当period为负时,默认是axis = 0轴的设定,向上移动
df.shift(-1)
Out[4]: 
  AA BB CC DD
a 4.0 5.0 6.0 7.0
b 8.0 9.0 10.0 11.0
c 12.0 13.0 14.0 15.0
d NaN NaN NaN NaN

pandas 中上下两行相减(隔行相减) -- shift函数的使用

最近使用pandas处理数据,需求是想相邻两行上下相减,查API发现shift函数,很灵活,。你也可以隔任意行相减。

p['xx_1'] = p["xx"].shift(1)

上面得到的就是xx字段向下移动一行的结果,和之前相比向下移动一行,你可以设置为任意行,也可是向上向下

p['xx'] - p["xx_1"]

这就是前后两行的差值,很方便,Pandas很强大

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
在Python中利用Into包整洁地进行数据迁移的教程
Mar 30 Python
Python使用正则表达式获取网页中所需要的信息
Jan 29 Python
Selenium 模拟浏览器动态加载页面的实现方法
May 16 Python
pandas.DataFrame.to_json按行转json的方法
Jun 05 Python
彻彻底底地理解Python中的编码问题
Oct 15 Python
python 将大文件切分为多个小文件的实例
Jan 14 Python
对django 模型 unique together的示例讲解
Aug 06 Python
python中Ansible模块的Playbook的具体使用
May 28 Python
使用Keras建立模型并训练等一系列操作方式
Jul 02 Python
基于opencv的selenium滑动验证码的实现
Jul 24 Python
python 闭包函数详细介绍
Apr 19 Python
基于Python实现nc批量转tif格式
Aug 14 Python
Python补齐字符串长度的实例
Nov 15 #Python
python实现对指定字符串补足固定长度倍数截断输出的方法
Nov 15 #Python
Python 输入一个数字判断成绩分数等级的方法
Nov 15 #Python
基于numpy中数组元素的切片复制方法
Nov 15 #Python
对Python中list的倒序索引和切片实例讲解
Nov 15 #Python
对pandas里的loc并列条件索引的实例讲解
Nov 15 #Python
Pandas 按索引合并数据集的方法
Nov 15 #Python
You might like
PHP编程网上资源导航
2006/10/09 PHP
解析php取整的几种方式
2013/06/25 PHP
PHP加密函数 Javascript/Js 解密函数
2013/09/23 PHP
Ubuntu 16.04下安装PHP 7过程详解
2017/03/28 PHP
php二维码生成以及下载实现
2017/09/28 PHP
PHP7新功能总结
2019/04/14 PHP
PHP vsprintf()函数格式化字符串操作原理解析
2020/07/14 PHP
用php实现分页效果的示例代码
2020/12/10 PHP
RR vs IO BO3 第二场2.13
2021/03/10 DOTA
基于jquery的设置页面文本框 只能输入数字的实现代码
2011/04/19 Javascript
关于onchange事件在IE和FF下的表现及解决方法
2014/03/08 Javascript
打造个性化的功能强大的Jquery虚拟键盘(VirtualKeyboard)
2014/10/11 Javascript
举例详解JavaScript中Promise的使用
2015/06/24 Javascript
jQuery简单实现iframe的高度根据页面内容自适应的方法
2016/08/01 Javascript
关于jQuery.ajax()的jsonp碰上post详解
2017/07/02 jQuery
基于iview-admin实现动态路由的示例代码
2019/10/02 Javascript
解决vue路由name同名,路由重复的问题
2020/08/05 Javascript
vuex页面刷新导致数据丢失的解决方案
2020/12/10 Vue.js
在Python中使用zlib模块进行数据压缩的教程
2015/06/26 Python
Python实现将一个大文件按段落分隔为多个小文件的简单操作方法
2017/04/17 Python
Django如何开发简单的查询接口详解
2019/05/17 Python
Python 3.8 新功能全解
2019/07/25 Python
Python 过滤错误log并导出的实例
2019/12/26 Python
python3用urllib抓取贴吧邮箱和QQ实例
2020/03/10 Python
浅谈多卡服务器下隐藏部分 GPU 和 TensorFlow 的显存使用设置
2020/06/30 Python
canvas基础之图形验证码的示例
2018/01/02 HTML / CSS
html5超简单的localStorage实现记住密码的功能实现
2017/09/07 HTML / CSS
施华洛世奇日本官网:SWAROVSKI日本
2018/05/04 全球购物
全球高级音频和视频专家:HiDef Lifestyle
2019/08/02 全球购物
行政部总经理岗位职责
2014/01/04 职场文书
大学生饮食连锁店创业计划书
2014/01/17 职场文书
经济国贸专业求职信
2014/06/18 职场文书
离婚起诉状范本
2015/05/19 职场文书
工作年限证明范本
2015/06/15 职场文书
2015年除四害工作总结
2015/07/23 职场文书
2016年教师政治思想表现评语
2015/12/02 职场文书