11个Python Pandas小技巧让你的工作更高效(附代码实例)


Posted in Python onApril 30, 2019

本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助。

或许本文中的某些命令你早已知晓,只是没意识到它还有这种打开方式。

Pandas是一个在Python中广泛应用的数据分析包。市面上有很多关于Pandas的经典教程,但本文介绍几个隐藏的炫酷小技巧,我相信这些会对你有所帮助。

1. read_csv

这是读取数据的入门级命令。当要你所读取的数据量特别大时,试着加上这个参数nrows = 5,就可以在载入全部数据前先读取一小部分数据。如此一来,就可以避免选错分隔符这样的错误啦(数据不一定都是用逗号来分隔)。

(或者在linux系统中,你可以使用‘head'来展示任意文本文件的前五行:head -c 5 data.txt)

接下来,用 df.columns.tolist() 可以提取每一列并转换成list。还可以加上usecols = [‘c1', ‘c2', … ]来载入所需要的指定列。另外,如果你知道某些列的类型,你可以加上dtype = {‘c1': str, ‘c2': int, …} ,这样会加快载入的速度。加入这些参数的另一大好处是,如果这一列中同时含有字符串和数值类型,而你提前声明把这一列看作是字符串,那么这一列作为主键来融合多个表时,就不会报错了。

2. select_dtypes

如果已经在Python中完成了数据的预处理,这个命令可以帮你节省一定的时间。在读取了表格之后,每一列的默认数据类型将会是bool,int64,float64,object,category,timedelta64,或者datetime64。首先你可以观察一下大致情况,使用:

df.dtypes.value_counts()

来了解你的dataframe的每项数据类型,然后再使用:

df.select_dtypes(include=['float64', 'int64'])

获取一个仅由数值类型组成的sub-dataframe。

3. copy

如果你没听说过它的话,我不得强调它的重要性。输入下面的命令:

import pandas as pd 
df1 = pd.DataFrame({ 'a':[0,0,0], 'b': [1,1,1]}) 
df2 = df1 
df2['a'] = df2['a'] + 1 
df1.head()

你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2,而是设定一个指向df1的指针。所以只要是针对df2的改变,也会相应地作用在df1上。为了解决这个问题,你既可以这样做:

df2 = df1.copy()

也可以这样做:

from copy import deepcopy 
df2 = deepcopy(df1)

4. map

这个炫酷的命令让你的数据转换变得轻松。首先定义一个

dictionary,“key”是转换前的旧值,而“values”是转换后的新值。

level_map = {1: 'high', 2: 'medium', 3: 'low'} 
df['c_level'] = df['c'].map(level_map)

几个适用情景:把True、False,转换成1、0(为了建模);定义级别;使用字典编码。

5. 用不用apply?

如果我们想在现有几列的基础上生成一个新列,并一同作为输入,那么有时apply函数会相当有帮助。

def rule(x, y): 
 if x == 'high' and y > 10: 
 return 1 
 else: 
 return 0 
df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]}) 
df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis = 1) 
df.head()

在上面的代码中,我们定义了一个有两个输入变量的函数,并依靠apply函数使其作用到列“c1”和“c2”上。

但是apply函数在有些情况下实在是太慢了。如果你是想计算“c1”和“c2”列的最大值,你当然可以这样去做:

df['maximum'] = df.apply(lambda x: max(x['c1'], x['c2']), axis = 1)

但你会发现相比于以下命令,apply实在是慢太多了:

df['maximum'] = df[['c1','c2']].max(axis =1)

结论:如果你可以采用其他内置函数(他们一般速度更快),请不要使用apply。比如说,如果你想把“c”列的值近似取整,那么请用round(df[‘c'], 0)或df['c'],round(0)而不是上文的apply函数。

7. value counts

这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率,可以使用:

df['c'].value_counts(

下面是一些有用的小技巧/参数:

  • normalize = True:查看每个值出现的频率而不是频次数。
  • dropna = False: 把缺失值也保留在这次统计中。
  • sort = False: 将数据按照值来排序而不是按照出现次数排序。
  • df[‘c].value_counts().reset_index(): 将这个统计表转换成pandas的dataframe并且进行处理。

8. 缺失值的数量

当构建模型时,我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用.isnull()和.sum()来计算指定列缺失值的数量。

import pandas as pd 
import numpy as np 
df = pd.DataFrame({ 'id': [1,2,3], 'c1':[0,0,np.nan], 'c2': [np.nan,1,1]}) 
df = df[['id', 'c1', 'c2']] 
df['num_nulls'] = df[['c1', 'c2']].isnull().sum(axis=1) 
df.head()

在SQL中我们可以使用 SELECT * FROM … WHERE ID in (‘A001',‘C022', …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情,你可以使用:

df_filter = df['ID'].isin(['A001','C022',...]) 
df[df_filter]

10. 基于分位数分组

面对一列数值,你想将这一列的值进行分组,比如说最前面的5%放入组别一,5-20%放入组别二,20%-50%放入组别三,最后的50%放入组别四。当然,你可以使用pandas.cut,但你也可以使用下面这种选择:

import numpy as np 
cut_points = [np.percentile(df['c'], i) for i in [50, 80, 95]] 
df['group'] = 1 
for i in range(3): 
 df['group'] = df['group'] + (df['c'] < cut_points[i]) 
# or <= cut_points[i]

这种方法的运行速度很快(并没有使用到apply函数)。

11. to_csv

这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是

print(df[:5].to_csv())

你可以使用这个命令打印出将要输出文件中的前五行记录。

另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值,那么这一列的数据类型会变成float而不是int。当导出表格时,你可以加上float_format=‘%.0f'以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时,就可以使用这个技巧,这样一来你就会告别所有数值后带“.0”的烦恼。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python实现解数独程序代码
Apr 12 Python
python登录并爬取淘宝信息代码示例
Dec 09 Python
Python 查看文件的编码格式方法
Dec 21 Python
Python多线程threading和multiprocessing模块实例解析
Jan 29 Python
python自动截取需要区域,进行图像识别的方法
May 17 Python
python读写csv文件实例代码
Jul 05 Python
python 并发编程 多路复用IO模型详解
Aug 20 Python
FFT快速傅里叶变换的python实现过程解析
Oct 21 Python
python滑块验证码的破解实现
Nov 10 Python
Python 如何反方向迭代一个序列
Jul 28 Python
Pyqt助手安装PyQt5帮助文档过程图解
Nov 20 Python
python 监控服务器是否有人远程登录(详细思路+代码)
Dec 18 Python
python制作图片缩略图
Apr 30 #Python
python获取微信企业号打卡数据并生成windows计划任务
Apr 30 #Python
使用Python实现企业微信的自动打卡功能
Apr 30 #Python
Python/Django后端使用PIL Image生成头像缩略图
Apr 30 #Python
Python3.5迭代器与生成器用法实例分析
Apr 30 #Python
python使用Paramiko模块实现远程文件拷贝
Apr 30 #Python
Django学习笔记之为Model添加Action
Apr 30 #Python
You might like
浅析php与数据库代码开发规范
2013/08/08 PHP
thinkphp的CURD和查询方式介绍
2013/12/19 PHP
ThinkPHP采用实现三级循环代码实例
2014/07/18 PHP
PHP文件缓存smarty模板应用实例分析
2016/02/26 PHP
PHP正则匹配反斜杠'\'和美元'$'的方法
2017/02/08 PHP
JavaScript 错误处理与调试经验总结
2010/08/10 Javascript
获取内联和链接中的样式(js代码)
2013/04/11 Javascript
调用DOM对象的focus使文本框获得焦点
2014/02/19 Javascript
javascript中的throttle和debounce浅析
2014/06/06 Javascript
json字符串之间的相互转换示例代码
2014/08/21 Javascript
深入理解JavaScript系列(38):设计模式之职责链模式详解
2015/03/04 Javascript
jquery表单对象属性过滤选择器实例分析
2015/05/18 Javascript
jQuery qrcode生成二维码的方法
2016/04/03 Javascript
Javascript实现代码折叠功能
2016/08/25 Javascript
js控制li的隐藏和显示实例代码
2016/10/15 Javascript
Bootstrap风格的WPF样式
2016/12/07 Javascript
JQuery统计input和textarea文字输入数量(代码分享)
2016/12/29 Javascript
微信小程序小组件 基于Canvas实现直播点赞气泡效果
2020/05/29 Javascript
前端构建工具之gulp的语法教程
2017/06/12 Javascript
node.js 发布订阅模式的实例
2017/09/10 Javascript
JavaScript实现身份证验证代码实例
2019/08/26 Javascript
layui数据表格跨行自动合并的例子
2019/09/02 Javascript
[26:40]DOTA2上海特级锦标赛A组资格赛#1 Secret VS MVP.Phx第一局
2016/02/25 DOTA
浅析Python中的getattr(),setattr(),delattr(),hasattr()
2016/06/14 Python
Python中在脚本中引用其他文件函数的实现方法
2016/06/23 Python
Python cookbook(数据结构与算法)在字典中将键映射到多个值上的方法
2018/02/18 Python
python怎么提高计算速度
2020/06/11 Python
python爬虫线程池案例详解(梨视频短视频爬取)
2021/02/20 Python
实习老师离校感言
2014/02/03 职场文书
财务出纳岗位职责
2014/02/03 职场文书
男女朋友协议书
2014/04/23 职场文书
一份关于丢失公司财物的检讨书
2014/09/19 职场文书
庆六一宣传标语
2014/10/08 职场文书
行政处罚决定书
2015/06/24 职场文书
如何在centos上使用yum安装rabbitmq-server
2021/03/31 Servers
vue3语法糖内的defineProps及defineEmits
2022/04/14 Vue.js