pandas DataFrame 数据选取,修改,切片的实现


Posted in Python onApril 24, 2020

在刚开始使用pandas DataFrame的时候,对于数据的选取,修改和切片经常困惑,这里总结了一些常用的操作。

pandas主要提供了三种属性用来选取行/列数据:

属性名 属性
ix 根据整数索引或者行标签选取数据
iloc 根据位置的整数索引选取数据
loc 根据行标签选取数据

先初始化一个DateFrame做例子

import numpy as np
import pandas as pd
df = pd.DataFrame([['Snow','M',22],['Tyrion','M',32],['Sansa','F',18],['Arya','F',14]], columns=['name','gender','age'])

df是这样的

In [35]: df
Out[35]: 
   name  gender age
0  Snow   M    22
1  Tyrion  M    32
2  Sansa  F    18
3  Arya   F    14

如果每列都有column name,比如这里是: 

In [42]: df.columns
Out[42]: Index(['name', 'gender', 'age'], dtype='object')

1. df['column_name'] ,df[row_start_index, row_end_index] 选取指定整列数据

df['name']
df['gender']
df[['name','gender']] #选取多列,多列名字要放在list里
df[0:] #第0行及之后的行,相当于df的全部数据,注意冒号是必须的
df[:2] #第2行之前的数据(不含第2行)
df[0:1] #第0行
df[1:3] #第1行到第2行(不含第3行)
df[-1:] #最后一行
df[-3:-1] #倒数第3行到倒数第1行(不包含最后1行即倒数第1行,这里有点烦躁,因为从前数时从第0行开始,从后数就是-1行开始,毕竟没有-0)

2. loc,在知道列名字的情况下,df.loc[index,column] 选取指定行,列的数据

loc也提供了五种参数形式

input example(摘自官方文档) output
行标签 df.loc[‘viper'] 选取viper那一行
行标签数组 df.loc[[‘viper', ‘sidewinder']] 选取行标签为viper、sidewinder
行标签切片 df.loc[‘cobra':‘viper', ‘max_speed'] 选取从cobra到viper行的max_speed列
布尔值数组 df.loc[[False, False, True]]
函数 df.loc[df[‘shield'] > 6, [‘max_speed']] 选取shield列大于6的那一行的max_speed数据

注意 df.loc[df[‘one']>10]这样的写法是可以正常选出one列大于10的数据

# df.loc[index, column_name],选取指定行和列的数据
df.loc[0,'name'] # 'Snow'
df.loc[0:2, ['name','age']]  #选取第0行到第2行,name列和age列的数据, 注意这里的行选取是包含下标的。
df.loc[[2,3],['name','age']]  #选取指定的第2行和第3行,name和age列的数据
df.loc[df['gender']=='M','name']  #选取gender列是M,name列的数据
df.loc[df['gender']=='M',['name','age']] #选取gender列是M,name和age列的数据

3. iloc,在column name特别长或者index是时间序列等各种不方便输入的情况下,可以用iloc (i = index), iloc完全用数字来定位 iloc[row_index, column_index]

iloc提供了五种参数形式

input example output
整数(行索引) df.iloc[5] 选取第6行数据
整数数组 df.iloc[[1,3,5]] 选取第2,4,6行数据
整数切片 df.iloc[1:3] 选取2~4行数据(不包含第4行数据)
布尔值数组 df.iloc[[True,False,True] 选取第1,3行数据
函数 df.iloc[(df[‘one']>10).tolist()] 选取'one'这列大于10的那一行数据

注意:iloc接受有返回值的函数作为参数,但要保证函数返回的是整数/整数list,布尔值/布尔list

如果直接运行 df.iloc[df[‘one']>10]

则会报错 NotImplementedError: iLocation based boolean indexing on an integer type is not available

因为df[‘one'] > 10 返回的是 series类型的数据

除此之外,还可以进行组合切片

input example output
整数(行索引) df.iloc[5,1] 选取第6行,第2列的数据
整数数组 df.iloc[[1,3],[1,2]] 选取第2,4行;2,3列的数据
整数切片 df.iloc[1:3,1:3] 选取第2,3行;2,3列的数据
布尔值数组 df.iloc[[True,True,False],[True,False,True]] 选取第1,2行;1,3列的数据

要注意的是,我们用df[参数]也可以进行切片,但这种方式容易引起chained indexing 问题。除此之外,**df[lable1][lable2]**的操作是线性的,对lable2的选取是在df[lable1]的基础上进行,速度相对较慢。所以在对数据进行切片的时候尽量使用iloc这类的方法

df.iloc[0,0] #第0行第0列的数据,'Snow'
df.iloc[1,2] #第1行第2列的数据,32
df.iloc[[1,3],0:2] #第1行和第3行,从第0列到第2列(不包含第2列)的数据
df.iloc[1:3,[1,2] #第1行到第3行(不包含第3行),第1列和第2列的数据

4. ix, ix很强大,loc和iloc的功能都能做到 ix[row_index, column_index]

ix虽然强大,然而已经不再被推荐,因为在最新版的pandas里面,ix已经成为deprecated。(https://github.com/pandas-dev/pandas/issues/14218)

大概是因为可以混合label和position导致了很多用户问题和bug。

所以,用label就用loc,用position就用iloc。

df.ix[0,0] #第0行第0列的数据,'Snow'
df.ix[0,[1,2]] #第0行,第1列和第2列的数据
df.ix[0:2,[1,2]] #第0行到第2行(包含第3行),第1列和第2列的数据
df.ix[1,0:2] #第1行,从第0列到第2列(不包含第2列)的数据

切片时,iloc行不含下标上限,loc,ix行包含,列iloc和ix都不含列下标上限。(设计者的缺憾。。。)

 到此这篇关于pandas DataFrame 数据选取,修改,切片的实现的文章就介绍到这了,更多相关pandas  数据选取,修改,切片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python中的map、reduce和filter浅析
Apr 26 Python
在Python中用split()方法分割字符串的使用介绍
May 20 Python
ubuntu环境下python虚拟环境的安装过程
Jan 07 Python
Python元组及文件核心对象类型详解
Feb 11 Python
python实现随机调用一个浏览器打开网页
Apr 21 Python
python list转矩阵的实例讲解
Aug 04 Python
使用python将请求的requests headers参数格式化方法
Jan 02 Python
python try except返回异常的信息字符串代码实例
Aug 15 Python
Python Django框架模板渲染功能示例
Nov 08 Python
python实现差分隐私Laplace机制详解
Nov 25 Python
Python restful框架接口开发实现
Apr 13 Python
Python中有几个关键字
Jun 04 Python
pandas数据选取:df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]
Apr 24 #Python
python查找特定名称文件并按序号、文件名分行打印输出的方法
Apr 24 #Python
python 读取二进制 显示图片案例
Apr 24 #Python
150行python代码实现贪吃蛇游戏
Apr 24 #Python
用 Python 制作地球仪的方法
Apr 24 #Python
解决python中显示图片的plt.imshow plt.show()内存泄漏问题
Apr 24 #Python
基于打开pycharm有带图片md文件卡死问题的解决
Apr 24 #Python
You might like
linux实现php定时执行cron任务详解
2013/12/24 PHP
迅速确定php多维数组的深度的方法
2014/01/07 PHP
PHP二进制与字符串之间的相互转换教程
2016/10/14 PHP
PHP实现的敏感词过滤方法示例
2019/03/06 PHP
使用EXT实现无刷新动态调用股票信息
2008/11/01 Javascript
控制台报错object is not a function的解决方法
2014/08/24 Javascript
JS实现淘宝支付宝网站的控制台菜单效果
2015/09/28 Javascript
js数组常见操作及数组与字符串相互转化实例详解
2015/11/10 Javascript
JSON与String互转的实现方法(Javascript)
2016/09/27 Javascript
vue刷新和tab切换实例
2018/02/11 Javascript
vue中Axios的封装与API接口的管理详解
2018/08/09 Javascript
mpvue中使用flyjs全局拦截的实现代码
2018/09/13 Javascript
vue element table 表格请求后台排序的方法
2018/09/28 Javascript
[04:26]2014DOTA2国际邀请赛-Newbee顺利进入胜者组决赛 独家专访战神7
2014/07/19 DOTA
[02:03]完美世界DOTA2联赛10月30日赛事集锦
2020/10/31 DOTA
浅谈python中截取字符函数strip,lstrip,rstrip
2015/07/17 Python
Windows下python2.7.8安装图文教程
2016/05/26 Python
python条件变量之生产者与消费者操作实例分析
2017/03/22 Python
python OpenCV学习笔记之绘制直方图的方法
2018/02/08 Python
查找python项目依赖并生成requirements.txt的方法
2018/07/10 Python
Linux系统(CentOS)下python2.7.10安装
2018/09/26 Python
Python 实现遥感影像波段组合的示例代码
2019/08/04 Python
python实现异常信息堆栈输出到日志文件
2019/12/26 Python
Keras之fit_generator与train_on_batch用法
2020/06/17 Python
Pycharm导入anaconda环境的教程图解
2020/07/31 Python
python 实现汉诺塔游戏
2020/11/28 Python
西班牙香水和化妆品网上商店:Douglas
2017/10/29 全球购物
ShellScript面试题一则-ShellScript编程
2014/06/24 面试题
物流管理毕业生自荐信范文
2014/03/15 职场文书
文科毕业生自荐书范文
2014/04/17 职场文书
2014领导班子四风问题查摆思想汇报
2014/09/13 职场文书
乡镇干部个人对照检查材料思想汇报
2014/10/04 职场文书
世界地球日活动总结
2015/02/09 职场文书
学生早退检讨书(范文)
2019/08/19 职场文书
Vue图片裁剪组件实例代码
2021/07/02 Vue.js
Pygame Time时间控制的具体使用详解
2021/11/17 Python