pandas DataFrame 数据选取,修改,切片的实现


Posted in Python onApril 24, 2020

在刚开始使用pandas DataFrame的时候,对于数据的选取,修改和切片经常困惑,这里总结了一些常用的操作。

pandas主要提供了三种属性用来选取行/列数据:

属性名 属性
ix 根据整数索引或者行标签选取数据
iloc 根据位置的整数索引选取数据
loc 根据行标签选取数据

先初始化一个DateFrame做例子

import numpy as np
import pandas as pd
df = pd.DataFrame([['Snow','M',22],['Tyrion','M',32],['Sansa','F',18],['Arya','F',14]], columns=['name','gender','age'])

df是这样的

In [35]: df
Out[35]: 
   name  gender age
0  Snow   M    22
1  Tyrion  M    32
2  Sansa  F    18
3  Arya   F    14

如果每列都有column name,比如这里是: 

In [42]: df.columns
Out[42]: Index(['name', 'gender', 'age'], dtype='object')

1. df['column_name'] ,df[row_start_index, row_end_index] 选取指定整列数据

df['name']
df['gender']
df[['name','gender']] #选取多列,多列名字要放在list里
df[0:] #第0行及之后的行,相当于df的全部数据,注意冒号是必须的
df[:2] #第2行之前的数据(不含第2行)
df[0:1] #第0行
df[1:3] #第1行到第2行(不含第3行)
df[-1:] #最后一行
df[-3:-1] #倒数第3行到倒数第1行(不包含最后1行即倒数第1行,这里有点烦躁,因为从前数时从第0行开始,从后数就是-1行开始,毕竟没有-0)

2. loc,在知道列名字的情况下,df.loc[index,column] 选取指定行,列的数据

loc也提供了五种参数形式

input example(摘自官方文档) output
行标签 df.loc[‘viper'] 选取viper那一行
行标签数组 df.loc[[‘viper', ‘sidewinder']] 选取行标签为viper、sidewinder
行标签切片 df.loc[‘cobra':‘viper', ‘max_speed'] 选取从cobra到viper行的max_speed列
布尔值数组 df.loc[[False, False, True]]
函数 df.loc[df[‘shield'] > 6, [‘max_speed']] 选取shield列大于6的那一行的max_speed数据

注意 df.loc[df[‘one']>10]这样的写法是可以正常选出one列大于10的数据

# df.loc[index, column_name],选取指定行和列的数据
df.loc[0,'name'] # 'Snow'
df.loc[0:2, ['name','age']]  #选取第0行到第2行,name列和age列的数据, 注意这里的行选取是包含下标的。
df.loc[[2,3],['name','age']]  #选取指定的第2行和第3行,name和age列的数据
df.loc[df['gender']=='M','name']  #选取gender列是M,name列的数据
df.loc[df['gender']=='M',['name','age']] #选取gender列是M,name和age列的数据

3. iloc,在column name特别长或者index是时间序列等各种不方便输入的情况下,可以用iloc (i = index), iloc完全用数字来定位 iloc[row_index, column_index]

iloc提供了五种参数形式

input example output
整数(行索引) df.iloc[5] 选取第6行数据
整数数组 df.iloc[[1,3,5]] 选取第2,4,6行数据
整数切片 df.iloc[1:3] 选取2~4行数据(不包含第4行数据)
布尔值数组 df.iloc[[True,False,True] 选取第1,3行数据
函数 df.iloc[(df[‘one']>10).tolist()] 选取'one'这列大于10的那一行数据

注意:iloc接受有返回值的函数作为参数,但要保证函数返回的是整数/整数list,布尔值/布尔list

如果直接运行 df.iloc[df[‘one']>10]

则会报错 NotImplementedError: iLocation based boolean indexing on an integer type is not available

因为df[‘one'] > 10 返回的是 series类型的数据

除此之外,还可以进行组合切片

input example output
整数(行索引) df.iloc[5,1] 选取第6行,第2列的数据
整数数组 df.iloc[[1,3],[1,2]] 选取第2,4行;2,3列的数据
整数切片 df.iloc[1:3,1:3] 选取第2,3行;2,3列的数据
布尔值数组 df.iloc[[True,True,False],[True,False,True]] 选取第1,2行;1,3列的数据

要注意的是,我们用df[参数]也可以进行切片,但这种方式容易引起chained indexing 问题。除此之外,**df[lable1][lable2]**的操作是线性的,对lable2的选取是在df[lable1]的基础上进行,速度相对较慢。所以在对数据进行切片的时候尽量使用iloc这类的方法

df.iloc[0,0] #第0行第0列的数据,'Snow'
df.iloc[1,2] #第1行第2列的数据,32
df.iloc[[1,3],0:2] #第1行和第3行,从第0列到第2列(不包含第2列)的数据
df.iloc[1:3,[1,2] #第1行到第3行(不包含第3行),第1列和第2列的数据

4. ix, ix很强大,loc和iloc的功能都能做到 ix[row_index, column_index]

ix虽然强大,然而已经不再被推荐,因为在最新版的pandas里面,ix已经成为deprecated。(https://github.com/pandas-dev/pandas/issues/14218)

大概是因为可以混合label和position导致了很多用户问题和bug。

所以,用label就用loc,用position就用iloc。

df.ix[0,0] #第0行第0列的数据,'Snow'
df.ix[0,[1,2]] #第0行,第1列和第2列的数据
df.ix[0:2,[1,2]] #第0行到第2行(包含第3行),第1列和第2列的数据
df.ix[1,0:2] #第1行,从第0列到第2列(不包含第2列)的数据

切片时,iloc行不含下标上限,loc,ix行包含,列iloc和ix都不含列下标上限。(设计者的缺憾。。。)

 到此这篇关于pandas DataFrame 数据选取,修改,切片的实现的文章就介绍到这了,更多相关pandas  数据选取,修改,切片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
通过实例浅析Python对比C语言的编程思想差异
Aug 30 Python
用Python写冒泡排序代码
Apr 12 Python
Python手机号码归属地查询代码
May 04 Python
Python实现图片转字符画的示例
Aug 22 Python
python数据类型判断type与isinstance的区别实例解析
Oct 31 Python
python 检查是否为中文字符串的方法
Dec 28 Python
详解Python基础random模块随机数的生成
Mar 23 Python
python3实现字符串操作的实例代码
Apr 16 Python
django 环境变量配置过程详解
Aug 06 Python
python TK库简单应用(实时显示子进程输出)
Oct 29 Python
Ubuntu下Python+Flask分分钟搭建自己的服务器教程
Nov 19 Python
pyspark 随机森林的实现
Apr 24 Python
pandas数据选取:df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]
Apr 24 #Python
python查找特定名称文件并按序号、文件名分行打印输出的方法
Apr 24 #Python
python 读取二进制 显示图片案例
Apr 24 #Python
150行python代码实现贪吃蛇游戏
Apr 24 #Python
用 Python 制作地球仪的方法
Apr 24 #Python
解决python中显示图片的plt.imshow plt.show()内存泄漏问题
Apr 24 #Python
基于打开pycharm有带图片md文件卡死问题的解决
Apr 24 #Python
You might like
php cache类代码(php数据缓存类)
2010/04/15 PHP
php使用正则表达式提取字符串中尖括号、小括号、中括号、大括号中的字符串
2020/04/05 PHP
Thinkphp搭建包括JS多语言的多语言项目实现方法
2014/11/24 PHP
PHP模块化安装教程
2016/06/01 PHP
php实现微信企业号支付个人的方法详解
2017/07/26 PHP
laravel ORM 只开启created_at的几种方法总结
2018/01/29 PHP
ThinkPHP框架获取最后一次执行SQL语句及变量调试简单操作示例
2018/06/13 PHP
网页自动刷新,不产生嗒嗒声的一个解决方法
2007/03/27 Javascript
JavaScript DOM 学习第五章 表单简介
2010/02/19 Javascript
用JQuery实现全选与取消的两种简单方法
2014/02/22 Javascript
判断某个字符在一个字符串中是否存在的js代码
2014/02/28 Javascript
angular源码学习第一篇 setupModuleLoader方法
2016/10/20 Javascript
jQuery插件FusionCharts实现的MSBar2D图效果示例【附demo源码】
2017/03/24 jQuery
js a标签点击事件
2017/03/30 Javascript
纯js封装的ajax功能函数与用法示例
2018/05/14 Javascript
微信小程序实现蒙版弹窗效果
2018/11/01 Javascript
Vue Render函数创建DOM节点代码实例
2020/07/08 Javascript
Python使用pip安装pySerial串口通讯模块
2018/04/20 Python
Python实现最大子序和的方法示例
2019/07/05 Python
使用python代码进行身份证号校验的实现示例
2019/11/21 Python
使用TensorFlow-Slim进行图像分类的实现
2019/12/31 Python
Django中F函数的使用示例代码详解
2020/07/06 Python
python request 模块详细介绍
2020/11/10 Python
python装饰器代码深入讲解
2021/03/01 Python
简述进程的启动、终止的方式以及如何进行进程的查看
2014/02/20 面试题
2015年元旦文艺汇演主持词
2014/03/26 职场文书
服务标兵事迹材料
2014/05/04 职场文书
大专学生求职信
2014/07/04 职场文书
机动车登记业务委托书
2014/10/08 职场文书
个人诉讼委托书范本
2014/10/17 职场文书
学术会议通知范文
2015/04/15 职场文书
中标通知书范本
2015/04/17 职场文书
2015年支教教师工作总结
2015/07/22 职场文书
HTML速写之Emmet语法规则的实现
2021/04/07 HTML / CSS
python状态机transitions库详解
2021/06/02 Python
PostgreSQL基于pgrouting的路径规划处理方法
2022/04/18 PostgreSQL