pandas 选取行和列数据的方法详解


Posted in Python onAugust 08, 2019

前言

本文介绍在 pandas 中如何读取数据行列的方法。数据由行和列组成,在数据库中,一般行被称作记录 (record),列被称作字段 (field)。回顾一下我们对记录和字段的获取方式:一般情况下,字段根据名称获取,记录根据筛选条件获取。比如获取 student_id 和 studnent_name 两个字段;记录筛选,比如 sales_amount 大于 10000 的所有记录。对于熟悉 SQL 语句的人来说,就是下面的语句:

select student_id, student_name
from exam_scores
where chinese >= 90 and math >= 90

上面的 SQL 语句表示从考试成绩表 (exam_scores) 中,筛选出语文和数学都大于或等于 90 分的所有学生 id 和 name。学习 pandas 数据获取,推荐这种以数据处理的目标为导向的方式,而不是被动的按 pandas 提供的 loc, iloc的语法中,一条条顺序学习。

本篇我们要分析的关于销售数量和金额的一组数据,数据存放在 csv 文件中。示例数据我在 github 上放了一份,方便大家对照练习。

pandas 选取行和列数据的方法详解

选择列

以下两种方法返回 Series 类型:

import pandas as pd
df = pd.read_csv('sample-salesv3.csv')
df.name
# 或者
df['name']

如果需要返回 DataFrame 格式,使用 list 作为参数。为了方便说明,给出在 jupyter notebook 中显示的界面。

pandas 选取行和列数据的方法详解

如果需要选取多列,传给 DataFrame 一个包含列名的 list:

pandas 选取行和列数据的方法详解

选择行

假设我们要筛选 quantity < 0 的所有记录:

pandas 选取行和列数据的方法详解

按多条件筛选的处理方式。假设想筛选 quantity < 0 并且 unit price > 50 的所有记录:

pandas 选取行和列数据的方法详解

代码:

criteria = (df['quantity'] < 0) & (df['unit price'] > 50)
df[criteria].head()

在 pandas 中,AND 条件的运算符为 & ,OR 条件的运算符为 |。假设想筛选所有 quantity > 30 或 unit price > 50 的记录:

pandas 选取行和列数据的方法详解

代码:

criteria = (df['quantity'] > 30) | (df['unit price'] > 50)
df[criteria].head()

基于字符串的记录筛选

如果筛选条件为基于字符串,可以使用用 Series.str.xxx 方法,主要有 startswith, endswith 和 contains等。举一个例子,筛选出所有 name 含有 White 的记录:

pandas 选取行和列数据的方法详解

代码:

criteria = df['name'].str.contains('White')
df[criteria].head()

这里解释一下 pandas 布尔索引 (boolean indexing) 的概念。布尔索引的意思是首先构建一个与 DataFrame 的 index 长度相同的一个 boolean 向量 (boolean vector),这个向量中只包含 True 或者 False,布尔索引是一个 Series。

然后 DataFrame 在筛选的时候,基于 DataFrame 的行索引,当布尔索引相同行索引所在行的 value 为 True 时,DataFrame 的这一行就包含在筛选之中,否则就排除在外。

为了能看得更加清晰,我们把上面的例子用另外一个方法来展示。创建一个新列:is_selected,这一列是一个布尔索引。

df['is_selected'] = df['name'].str.contains('White')

我们看到,is_selected 由 True 和 False 构成。

pandas 选取行和列数据的方法详解

构建了 is_selected 列之后,通过df[df['name'].str.contains('White')] 筛选与下面的语句作用相同:

df[df['is_selected'] == True]

可以把 df['name'].str.contains('White') 这个布尔索引理解为构建了一个新列,然后基于这一列进行筛选。

基于 DateTime 类型的记录筛选

如果列的类型是 DateTime 类型,比如本示例的 date 列。pandas 读取 csv 文件时,date 列是 str 类型,所以我们先将 date 列转换成 datetime 类型,然后基于 pandas 的 Timestamp 类型构建筛选条件。

# 将 date 列转换成 datetime 类型
df['date'] = pd.to_datetime(df['date'])

# 筛选条件为日期大于 2014/4/1
criteria = df['date'] > pd.Timestamp(2014,4,1)
df[criteria].head()

pandas 选取行和列数据的方法详解

同时选择行和列

如果基于本篇所说的模式,同时选择行和列,最简单的方法是组合,比如先基于行构建 DataFrame,然后再基于这个 DataFrame 选取需要的列:

where = df['name'].str.contains('White')
cols = ['name', 'quantity', 'unit price', 'ext price']
df[where][cols].head()

pandas 选取行和列数据的方法详解

参考

Comparison with SQL

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
盘点提高 Python 代码效率的方法
Jul 03 Python
python与C互相调用的方法详解
Jul 14 Python
Python使用回溯法子集树模板获取最长公共子序列(LCS)的方法
Sep 08 Python
NLTK 3.2.4 环境搭建教程
Sep 19 Python
Python imread、newaxis用法详解
Nov 04 Python
Python yield生成器和return对比代码实例
Apr 20 Python
Python+Django+MySQL实现基于Web版的增删改查的示例代码
May 13 Python
Django 解决新建表删除后无法重新创建等问题
May 21 Python
python 深度学习中的4种激活函数
Sep 18 Python
Python 利用flask搭建一个共享服务器的步骤
Dec 05 Python
Python 装饰器(decorator)常用的创建方式及解析
Apr 24 Python
Python find()、rfind()方法及作用
Dec 24 Python
pandas 对日期类型数据的处理方法详解
Aug 08 #Python
解决Python设置函数调用超时,进程卡住的问题
Aug 08 #Python
Python 根据日志级别打印不同颜色的日志的方法示例
Aug 08 #Python
Python学习笔记之错误和异常及访问错误消息详解
Aug 08 #Python
Python实现直方图均衡基本原理解析
Aug 08 #Python
python获取指定日期范围内的每一天,每个月,每季度的方法
Aug 08 #Python
Python 调用 Outlook 发送邮件过程解析
Aug 08 #Python
You might like
咖啡豆要不要放冰箱的原因
2021/03/04 冲泡冲煮
利用static实现表格的颜色隔行显示的代码
2007/09/02 PHP
删除及到期域名的查看(抢域名必备哦)
2008/05/14 PHP
一步一步学习PHP(5) 类和对象
2010/02/16 PHP
php加水印的代码(支持半透明透明打水印,支持png透明背景)
2013/01/17 PHP
php mail to 配置详解
2014/01/16 PHP
php 邮件发送问题解决
2014/03/22 PHP
php在linux下检测mysql同步状态的方法
2015/01/15 PHP
判断、添加和删除WordPress置顶文章的相关PHP函数小结
2015/12/10 PHP
微信公众号实现扫码获取微信用户信息(网页授权)
2019/04/09 PHP
Laravel 微信小程序后端实现用户登录的示例代码
2019/11/26 PHP
JavaScript入门教程 Cookies
2009/01/31 Javascript
ExtJS扩展 垂直tabLayout实现代码
2009/06/21 Javascript
javascript操作JSON的要领总结
2012/12/09 Javascript
jQuery获得页面元素的绝对/相对位置即绝对X,Y坐标
2014/03/06 Javascript
纯js代码实现未知宽高的元素在指定元素中垂直水平居中显示
2015/09/12 Javascript
基于jquery实现图片放大功能
2016/05/07 Javascript
javascript中的 object 和 function小结
2016/08/14 Javascript
vue基于Element构建自定义树的示例代码
2017/09/19 Javascript
使用vue中的v-for遍历二维数组的方法
2018/03/07 Javascript
Angularjs实现页面模板清除的方法
2018/07/20 Javascript
Angular2之二级路由详解
2018/08/31 Javascript
vue 点击按钮增加一行的方法
2018/09/07 Javascript
js图数据结构处理 迪杰斯特拉算法代码实例
2019/09/11 Javascript
Vue 3.0双向绑定原理的实现方法
2019/10/23 Javascript
[04:29]2016国际邀请赛中国区预选赛Ehome战队教练采访
2016/06/27 DOTA
python生成词云的实现方法(推荐)
2017/06/13 Python
详解Python数据分析--Pandas知识点
2019/03/23 Python
Django模型序列化返回自然主键值示例代码
2019/06/12 Python
python 实现提取log文件中的关键句子,并进行统计分析
2019/12/24 Python
python进行参数传递的方法
2020/05/12 Python
全球性的奢侈品梦工厂:Forzieri(福喜利)
2019/02/20 全球购物
简历上的自我评价怎么写
2014/01/28 职场文书
开展创先争优活动总结
2014/08/28 职场文书
大学生学习计划书
2014/09/15 职场文书
校园游戏活动新闻稿
2014/10/15 职场文书