pandas 选取行和列数据的方法详解


Posted in Python onAugust 08, 2019

前言

本文介绍在 pandas 中如何读取数据行列的方法。数据由行和列组成,在数据库中,一般行被称作记录 (record),列被称作字段 (field)。回顾一下我们对记录和字段的获取方式:一般情况下,字段根据名称获取,记录根据筛选条件获取。比如获取 student_id 和 studnent_name 两个字段;记录筛选,比如 sales_amount 大于 10000 的所有记录。对于熟悉 SQL 语句的人来说,就是下面的语句:

select student_id, student_name
from exam_scores
where chinese >= 90 and math >= 90

上面的 SQL 语句表示从考试成绩表 (exam_scores) 中,筛选出语文和数学都大于或等于 90 分的所有学生 id 和 name。学习 pandas 数据获取,推荐这种以数据处理的目标为导向的方式,而不是被动的按 pandas 提供的 loc, iloc的语法中,一条条顺序学习。

本篇我们要分析的关于销售数量和金额的一组数据,数据存放在 csv 文件中。示例数据我在 github 上放了一份,方便大家对照练习。

pandas 选取行和列数据的方法详解

选择列

以下两种方法返回 Series 类型:

import pandas as pd
df = pd.read_csv('sample-salesv3.csv')
df.name
# 或者
df['name']

如果需要返回 DataFrame 格式,使用 list 作为参数。为了方便说明,给出在 jupyter notebook 中显示的界面。

pandas 选取行和列数据的方法详解

如果需要选取多列,传给 DataFrame 一个包含列名的 list:

pandas 选取行和列数据的方法详解

选择行

假设我们要筛选 quantity < 0 的所有记录:

pandas 选取行和列数据的方法详解

按多条件筛选的处理方式。假设想筛选 quantity < 0 并且 unit price > 50 的所有记录:

pandas 选取行和列数据的方法详解

代码:

criteria = (df['quantity'] < 0) & (df['unit price'] > 50)
df[criteria].head()

在 pandas 中,AND 条件的运算符为 & ,OR 条件的运算符为 |。假设想筛选所有 quantity > 30 或 unit price > 50 的记录:

pandas 选取行和列数据的方法详解

代码:

criteria = (df['quantity'] > 30) | (df['unit price'] > 50)
df[criteria].head()

基于字符串的记录筛选

如果筛选条件为基于字符串,可以使用用 Series.str.xxx 方法,主要有 startswith, endswith 和 contains等。举一个例子,筛选出所有 name 含有 White 的记录:

pandas 选取行和列数据的方法详解

代码:

criteria = df['name'].str.contains('White')
df[criteria].head()

这里解释一下 pandas 布尔索引 (boolean indexing) 的概念。布尔索引的意思是首先构建一个与 DataFrame 的 index 长度相同的一个 boolean 向量 (boolean vector),这个向量中只包含 True 或者 False,布尔索引是一个 Series。

然后 DataFrame 在筛选的时候,基于 DataFrame 的行索引,当布尔索引相同行索引所在行的 value 为 True 时,DataFrame 的这一行就包含在筛选之中,否则就排除在外。

为了能看得更加清晰,我们把上面的例子用另外一个方法来展示。创建一个新列:is_selected,这一列是一个布尔索引。

df['is_selected'] = df['name'].str.contains('White')

我们看到,is_selected 由 True 和 False 构成。

pandas 选取行和列数据的方法详解

构建了 is_selected 列之后,通过df[df['name'].str.contains('White')] 筛选与下面的语句作用相同:

df[df['is_selected'] == True]

可以把 df['name'].str.contains('White') 这个布尔索引理解为构建了一个新列,然后基于这一列进行筛选。

基于 DateTime 类型的记录筛选

如果列的类型是 DateTime 类型,比如本示例的 date 列。pandas 读取 csv 文件时,date 列是 str 类型,所以我们先将 date 列转换成 datetime 类型,然后基于 pandas 的 Timestamp 类型构建筛选条件。

# 将 date 列转换成 datetime 类型
df['date'] = pd.to_datetime(df['date'])

# 筛选条件为日期大于 2014/4/1
criteria = df['date'] > pd.Timestamp(2014,4,1)
df[criteria].head()

pandas 选取行和列数据的方法详解

同时选择行和列

如果基于本篇所说的模式,同时选择行和列,最简单的方法是组合,比如先基于行构建 DataFrame,然后再基于这个 DataFrame 选取需要的列:

where = df['name'].str.contains('White')
cols = ['name', 'quantity', 'unit price', 'ext price']
df[where][cols].head()

pandas 选取行和列数据的方法详解

参考

Comparison with SQL

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 获取新浪微博的最新公共微博实例分享
Jul 03 Python
Python中字典和JSON互转操作实例
Jan 19 Python
详解Python验证码识别
Jan 25 Python
python 环境变量和import模块导入方法(详解)
Jul 11 Python
PyQt5实现下载进度条效果
Apr 19 Python
对python中数组的del,remove,pop区别详解
Nov 07 Python
Python实现二维曲线拟合的方法
Dec 29 Python
PyQt5下拉式复选框QComboCheckBox的实例
Jun 25 Python
python正则表达式匹配IP代码实例
Dec 28 Python
Python中用pyinstaller打包时的图标问题及解决方法
Feb 17 Python
Python unittest框架操作实例解析
Apr 13 Python
python脚本定时发送邮件
Dec 22 Python
pandas 对日期类型数据的处理方法详解
Aug 08 #Python
解决Python设置函数调用超时,进程卡住的问题
Aug 08 #Python
Python 根据日志级别打印不同颜色的日志的方法示例
Aug 08 #Python
Python学习笔记之错误和异常及访问错误消息详解
Aug 08 #Python
Python实现直方图均衡基本原理解析
Aug 08 #Python
python获取指定日期范围内的每一天,每个月,每季度的方法
Aug 08 #Python
Python 调用 Outlook 发送邮件过程解析
Aug 08 #Python
You might like
PHP设计模式之责任链模式的深入解析
2013/06/13 PHP
php权重计算方法代码分享
2014/01/09 PHP
php+jQuery.uploadify实现文件上传教程
2014/12/26 PHP
Jquery 组合form元素为json格式,asp.net反序列化
2009/07/09 Javascript
使用JavaScript构建JSON格式字符串实现步骤
2013/03/22 Javascript
Jquery实现点击切换图片并隐藏显示内容(2种方法实现)
2013/04/11 Javascript
js点击事件链接的问题解决
2014/04/25 Javascript
jQuery使用after()方法在元素后面添加多项内容的方法
2015/03/26 Javascript
JavaScript里实用的原生API汇总
2015/05/14 Javascript
js中跨域方法原理详解
2015/07/19 Javascript
jQuery实用技巧必备(上)
2015/11/02 Javascript
jQuery webuploader分片上传大文件
2016/11/07 Javascript
前端 Vue.js 和 MVVM 详细介绍
2016/12/29 Javascript
bootstrap vue.js实现tab效果
2017/02/07 Javascript
js 数字、字符串、布尔值的转换方法(必看)
2017/04/07 Javascript
使用puppeteer破解极验的滑动验证码
2018/02/24 Javascript
利用Decorator如何控制Koa路由详解
2018/06/26 Javascript
Electron-vue开发的客户端支付收款工具的实现
2019/05/24 Javascript
vue实现分环境打包步骤(给不同的环境配置相对应的打包命令)
2019/06/04 Javascript
JavaScript实现随机五位数验证码
2019/09/27 Javascript
VUE兄弟组件传值操作实例分析
2019/10/26 Javascript
解决vue项目本地启动时无法携带cookie的问题
2021/02/06 Vue.js
编写Python的web框架中的Model的教程
2015/04/29 Python
Python使用multiprocessing创建进程的方法
2015/06/04 Python
python 用opencv调用训练好的模型进行识别的方法
2018/12/07 Python
Python定时发送天气预报邮件代码实例
2019/09/09 Python
pycharm的python_stubs问题
2020/04/08 Python
浅谈python 调用open()打开文件时路径出错的原因
2020/06/05 Python
Python文件操作模拟用户登陆代码实例
2020/06/09 Python
详解python logging日志传输
2020/07/01 Python
CHARLES & KEITH英国官网:新加坡时尚品牌
2018/07/04 全球购物
Desigual美国官方网站:西班牙服装品牌
2019/03/29 全球购物
Lookfantastic澳大利亚官网:英国知名美妆购物网站
2021/01/07 全球购物
公司授权委托书范本
2014/04/03 职场文书
车间主任岗位职责
2015/02/03 职场文书
高三数学教学反思
2016/02/18 职场文书