pandas DataFrame 数据选取,修改,切片的实现


Posted in Python onApril 24, 2020

在刚开始使用pandas DataFrame的时候,对于数据的选取,修改和切片经常困惑,这里总结了一些常用的操作。

pandas主要提供了三种属性用来选取行/列数据:

属性名 属性
ix 根据整数索引或者行标签选取数据
iloc 根据位置的整数索引选取数据
loc 根据行标签选取数据

先初始化一个DateFrame做例子

import numpy as np
import pandas as pd
df = pd.DataFrame([['Snow','M',22],['Tyrion','M',32],['Sansa','F',18],['Arya','F',14]], columns=['name','gender','age'])

df是这样的

In [35]: df
Out[35]: 
   name  gender age
0  Snow   M    22
1  Tyrion  M    32
2  Sansa  F    18
3  Arya   F    14

如果每列都有column name,比如这里是: 

In [42]: df.columns
Out[42]: Index(['name', 'gender', 'age'], dtype='object')

1. df['column_name'] ,df[row_start_index, row_end_index] 选取指定整列数据

df['name']
df['gender']
df[['name','gender']] #选取多列,多列名字要放在list里
df[0:] #第0行及之后的行,相当于df的全部数据,注意冒号是必须的
df[:2] #第2行之前的数据(不含第2行)
df[0:1] #第0行
df[1:3] #第1行到第2行(不含第3行)
df[-1:] #最后一行
df[-3:-1] #倒数第3行到倒数第1行(不包含最后1行即倒数第1行,这里有点烦躁,因为从前数时从第0行开始,从后数就是-1行开始,毕竟没有-0)

2. loc,在知道列名字的情况下,df.loc[index,column] 选取指定行,列的数据

loc也提供了五种参数形式

input example(摘自官方文档) output
行标签 df.loc[‘viper'] 选取viper那一行
行标签数组 df.loc[[‘viper', ‘sidewinder']] 选取行标签为viper、sidewinder
行标签切片 df.loc[‘cobra':‘viper', ‘max_speed'] 选取从cobra到viper行的max_speed列
布尔值数组 df.loc[[False, False, True]]
函数 df.loc[df[‘shield'] > 6, [‘max_speed']] 选取shield列大于6的那一行的max_speed数据

注意 df.loc[df[‘one']>10]这样的写法是可以正常选出one列大于10的数据

# df.loc[index, column_name],选取指定行和列的数据
df.loc[0,'name'] # 'Snow'
df.loc[0:2, ['name','age']]  #选取第0行到第2行,name列和age列的数据, 注意这里的行选取是包含下标的。
df.loc[[2,3],['name','age']]  #选取指定的第2行和第3行,name和age列的数据
df.loc[df['gender']=='M','name']  #选取gender列是M,name列的数据
df.loc[df['gender']=='M',['name','age']] #选取gender列是M,name和age列的数据

3. iloc,在column name特别长或者index是时间序列等各种不方便输入的情况下,可以用iloc (i = index), iloc完全用数字来定位 iloc[row_index, column_index]

iloc提供了五种参数形式

input example output
整数(行索引) df.iloc[5] 选取第6行数据
整数数组 df.iloc[[1,3,5]] 选取第2,4,6行数据
整数切片 df.iloc[1:3] 选取2~4行数据(不包含第4行数据)
布尔值数组 df.iloc[[True,False,True] 选取第1,3行数据
函数 df.iloc[(df[‘one']>10).tolist()] 选取'one'这列大于10的那一行数据

注意:iloc接受有返回值的函数作为参数,但要保证函数返回的是整数/整数list,布尔值/布尔list

如果直接运行 df.iloc[df[‘one']>10]

则会报错 NotImplementedError: iLocation based boolean indexing on an integer type is not available

因为df[‘one'] > 10 返回的是 series类型的数据

除此之外,还可以进行组合切片

input example output
整数(行索引) df.iloc[5,1] 选取第6行,第2列的数据
整数数组 df.iloc[[1,3],[1,2]] 选取第2,4行;2,3列的数据
整数切片 df.iloc[1:3,1:3] 选取第2,3行;2,3列的数据
布尔值数组 df.iloc[[True,True,False],[True,False,True]] 选取第1,2行;1,3列的数据

要注意的是,我们用df[参数]也可以进行切片,但这种方式容易引起chained indexing 问题。除此之外,**df[lable1][lable2]**的操作是线性的,对lable2的选取是在df[lable1]的基础上进行,速度相对较慢。所以在对数据进行切片的时候尽量使用iloc这类的方法

df.iloc[0,0] #第0行第0列的数据,'Snow'
df.iloc[1,2] #第1行第2列的数据,32
df.iloc[[1,3],0:2] #第1行和第3行,从第0列到第2列(不包含第2列)的数据
df.iloc[1:3,[1,2] #第1行到第3行(不包含第3行),第1列和第2列的数据

4. ix, ix很强大,loc和iloc的功能都能做到 ix[row_index, column_index]

ix虽然强大,然而已经不再被推荐,因为在最新版的pandas里面,ix已经成为deprecated。(https://github.com/pandas-dev/pandas/issues/14218)

大概是因为可以混合label和position导致了很多用户问题和bug。

所以,用label就用loc,用position就用iloc。

df.ix[0,0] #第0行第0列的数据,'Snow'
df.ix[0,[1,2]] #第0行,第1列和第2列的数据
df.ix[0:2,[1,2]] #第0行到第2行(包含第3行),第1列和第2列的数据
df.ix[1,0:2] #第1行,从第0列到第2列(不包含第2列)的数据

切片时,iloc行不含下标上限,loc,ix行包含,列iloc和ix都不含列下标上限。(设计者的缺憾。。。)

 到此这篇关于pandas DataFrame 数据选取,修改,切片的实现的文章就介绍到这了,更多相关pandas  数据选取,修改,切片内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python统计字符串中指定字符出现次数的方法
Apr 04 Python
python使用itchat库实现微信机器人(好友聊天、群聊天)
Jan 04 Python
对Python中Iterator和Iterable的区别详解
Oct 18 Python
解决Mac下首次安装pycharm无project interpreter的问题
Oct 29 Python
简单了解django orm中介模型
Jul 30 Python
Python hashlib模块加密过程解析
Nov 05 Python
Python使用Pandas库常见操作详解
Jan 16 Python
Python如何使用paramiko模块连接linux
Mar 18 Python
Python使用正则表达式实现爬虫数据抽取
Aug 17 Python
python实现图片转换成素描和漫画格式
Aug 19 Python
Python+unittest+requests 接口自动化测试框架搭建教程
Oct 09 Python
python+selenium小米商城红米K40手机自动抢购的示例代码
Mar 24 Python
pandas数据选取:df[] df.loc[] df.iloc[] df.ix[] df.at[] df.iat[]
Apr 24 #Python
python查找特定名称文件并按序号、文件名分行打印输出的方法
Apr 24 #Python
python 读取二进制 显示图片案例
Apr 24 #Python
150行python代码实现贪吃蛇游戏
Apr 24 #Python
用 Python 制作地球仪的方法
Apr 24 #Python
解决python中显示图片的plt.imshow plt.show()内存泄漏问题
Apr 24 #Python
基于打开pycharm有带图片md文件卡死问题的解决
Apr 24 #Python
You might like
PHP新手上路(六)
2006/10/09 PHP
php 传值赋值与引用赋值的区别
2010/12/29 PHP
php产生随机数的两种方法实例代码 输出随机IP
2011/04/08 PHP
PHP函数引用返回的实例详解
2016/09/11 PHP
Yii2单元测试用法示例
2016/11/12 PHP
用php定义一个数组最简单的方法
2019/10/04 PHP
php服务器的系统详解
2019/10/12 PHP
在laravel框架中实现封装公共方法全局调用
2019/10/14 PHP
Laravel 验证码认证学习记录小结
2019/12/20 PHP
PHP中关于php.ini参数优化详解
2020/02/28 PHP
50个比较实用jQuery代码段
2011/09/18 Javascript
JavaScript ECMA-262-3 深入解析.第三章.this
2011/09/28 Javascript
jQuery.validate 常用方法及需要注意的问题
2013/03/20 Javascript
jQuery类选择器用法实例
2014/12/23 Javascript
jquery使用EasyUI Tree异步加载JSON数据(生成树)
2017/02/11 Javascript
vue之数据交互实例代码
2017/06/16 Javascript
JavaScript canvas基于数组生成柱状图代码实例
2020/03/06 Javascript
js实现淘宝浏览商品放大镜功能
2020/10/28 Javascript
微信小程序实现倒计时功能
2020/11/19 Javascript
Python字符串逐字符或逐词反转方法
2015/05/21 Python
详解Python编程中time模块的使用
2015/11/20 Python
Python图片转换成矩阵,矩阵数据转换成图片的实例
2018/07/02 Python
Linux下安装python3.6和第三方库的教程详解
2018/11/09 Python
python自动化测试三部曲之unittest框架的实现
2020/10/07 Python
CSS3 display知识详解
2015/11/25 HTML / CSS
css3编写浏览器背景渐变背景色的方法
2018/03/05 HTML / CSS
Kenneth Cole官网:纽约时尚优雅品牌
2016/11/14 全球购物
银行实习自我鉴定
2013/10/12 职场文书
公务员培训心得体会
2013/12/28 职场文书
年终晚会活动方案
2014/08/21 职场文书
股东出资证明书(正规版)
2014/09/24 职场文书
2014年艾滋病防治工作总结
2014/12/10 职场文书
写给领导的感谢信
2015/01/22 职场文书
2015年出纳工作总结与计划
2015/05/18 职场文书
邹越演讲观后感
2015/06/15 职场文书
MySQL数据库中varchar类型的数字比较大小的方法
2021/11/17 MySQL