11个Python Pandas小技巧让你的工作更高效(附代码实例)


Posted in Python onApril 30, 2019

本文为你介绍Pandas隐藏的炫酷小技巧,我相信这些会对你有所帮助。

或许本文中的某些命令你早已知晓,只是没意识到它还有这种打开方式。

Pandas是一个在Python中广泛应用的数据分析包。市面上有很多关于Pandas的经典教程,但本文介绍几个隐藏的炫酷小技巧,我相信这些会对你有所帮助。

1. read_csv

这是读取数据的入门级命令。当要你所读取的数据量特别大时,试着加上这个参数nrows = 5,就可以在载入全部数据前先读取一小部分数据。如此一来,就可以避免选错分隔符这样的错误啦(数据不一定都是用逗号来分隔)。

(或者在linux系统中,你可以使用‘head'来展示任意文本文件的前五行:head -c 5 data.txt)

接下来,用 df.columns.tolist() 可以提取每一列并转换成list。还可以加上usecols = [‘c1', ‘c2', … ]来载入所需要的指定列。另外,如果你知道某些列的类型,你可以加上dtype = {‘c1': str, ‘c2': int, …} ,这样会加快载入的速度。加入这些参数的另一大好处是,如果这一列中同时含有字符串和数值类型,而你提前声明把这一列看作是字符串,那么这一列作为主键来融合多个表时,就不会报错了。

2. select_dtypes

如果已经在Python中完成了数据的预处理,这个命令可以帮你节省一定的时间。在读取了表格之后,每一列的默认数据类型将会是bool,int64,float64,object,category,timedelta64,或者datetime64。首先你可以观察一下大致情况,使用:

df.dtypes.value_counts()

来了解你的dataframe的每项数据类型,然后再使用:

df.select_dtypes(include=['float64', 'int64'])

获取一个仅由数值类型组成的sub-dataframe。

3. copy

如果你没听说过它的话,我不得强调它的重要性。输入下面的命令:

import pandas as pd 
df1 = pd.DataFrame({ 'a':[0,0,0], 'b': [1,1,1]}) 
df2 = df1 
df2['a'] = df2['a'] + 1 
df1.head()

你会发现df1已经发生了改变。这是因为df2 = df1并不是生成一个df1的复制品并把它赋值给df2,而是设定一个指向df1的指针。所以只要是针对df2的改变,也会相应地作用在df1上。为了解决这个问题,你既可以这样做:

df2 = df1.copy()

也可以这样做:

from copy import deepcopy 
df2 = deepcopy(df1)

4. map

这个炫酷的命令让你的数据转换变得轻松。首先定义一个

dictionary,“key”是转换前的旧值,而“values”是转换后的新值。

level_map = {1: 'high', 2: 'medium', 3: 'low'} 
df['c_level'] = df['c'].map(level_map)

几个适用情景:把True、False,转换成1、0(为了建模);定义级别;使用字典编码。

5. 用不用apply?

如果我们想在现有几列的基础上生成一个新列,并一同作为输入,那么有时apply函数会相当有帮助。

def rule(x, y): 
 if x == 'high' and y > 10: 
 return 1 
 else: 
 return 0 
df = pd.DataFrame({ 'c1':[ 'high' ,'high', 'low', 'low'], 'c2': [0, 23, 17, 4]}) 
df['new'] = df.apply(lambda x: rule(x['c1'], x['c2']), axis = 1) 
df.head()

在上面的代码中,我们定义了一个有两个输入变量的函数,并依靠apply函数使其作用到列“c1”和“c2”上。

但是apply函数在有些情况下实在是太慢了。如果你是想计算“c1”和“c2”列的最大值,你当然可以这样去做:

df['maximum'] = df.apply(lambda x: max(x['c1'], x['c2']), axis = 1)

但你会发现相比于以下命令,apply实在是慢太多了:

df['maximum'] = df[['c1','c2']].max(axis =1)

结论:如果你可以采用其他内置函数(他们一般速度更快),请不要使用apply。比如说,如果你想把“c”列的值近似取整,那么请用round(df[‘c'], 0)或df['c'],round(0)而不是上文的apply函数。

7. value counts

这个命令用于检查值的分布。你想要检查下“c”列中出现的值以及每个值所出现的频率,可以使用:

df['c'].value_counts(

下面是一些有用的小技巧/参数:

  • normalize = True:查看每个值出现的频率而不是频次数。
  • dropna = False: 把缺失值也保留在这次统计中。
  • sort = False: 将数据按照值来排序而不是按照出现次数排序。
  • df[‘c].value_counts().reset_index(): 将这个统计表转换成pandas的dataframe并且进行处理。

8. 缺失值的数量

当构建模型时,我们可能会去除包含过多缺失值或是全部是缺失值的行。这时可以使用.isnull()和.sum()来计算指定列缺失值的数量。

import pandas as pd 
import numpy as np 
df = pd.DataFrame({ 'id': [1,2,3], 'c1':[0,0,np.nan], 'c2': [np.nan,1,1]}) 
df = df[['id', 'c1', 'c2']] 
df['num_nulls'] = df[['c1', 'c2']].isnull().sum(axis=1) 
df.head()

在SQL中我们可以使用 SELECT * FROM … WHERE ID in (‘A001',‘C022', …)来获取含有指定ID的记录。如果你也想在Pandas中做类似的事情,你可以使用:

df_filter = df['ID'].isin(['A001','C022',...]) 
df[df_filter]

10. 基于分位数分组

面对一列数值,你想将这一列的值进行分组,比如说最前面的5%放入组别一,5-20%放入组别二,20%-50%放入组别三,最后的50%放入组别四。当然,你可以使用pandas.cut,但你也可以使用下面这种选择:

import numpy as np 
cut_points = [np.percentile(df['c'], i) for i in [50, 80, 95]] 
df['group'] = 1 
for i in range(3): 
 df['group'] = df['group'] + (df['c'] < cut_points[i]) 
# or <= cut_points[i]

这种方法的运行速度很快(并没有使用到apply函数)。

11. to_csv

这又是一个大家都会用的命令。我想在这里列出两个小技巧。首先是

print(df[:5].to_csv())

你可以使用这个命令打印出将要输出文件中的前五行记录。

另一个技巧是用来处理整数值和缺失值混淆在一起的情况。如果一列含有缺失值和整数值,那么这一列的数据类型会变成float而不是int。当导出表格时,你可以加上float_format=‘%.0f'以便将所有的浮点数近似成整数。当你想把所有列的输出值都变成整数格式时,就可以使用这个技巧,这样一来你就会告别所有数值后带“.0”的烦恼。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
在Linux系统上通过uWSGI配置Nginx+Python环境的教程
Dec 25 Python
Pythont特殊语法filter,map,reduce,apply使用方法
Feb 27 Python
Python之使用adb shell命令启动应用的方法详解
Jan 07 Python
Django自定义用户登录认证示例代码
Jun 30 Python
使用pyinstaller逆向.pyc文件
Dec 20 Python
Python对象的属性访问过程详解
Mar 05 Python
完美解决jupyter由于无法import新包的问题
May 26 Python
PyQt5实现登录页面
May 30 Python
Python类成员继承重写的实现
Sep 16 Python
python re模块常见用法例举
Mar 01 Python
Pytorch 中的optimizer使用说明
Mar 03 Python
教你如何使用Python下载B站视频的详细教程
Apr 29 Python
python制作图片缩略图
Apr 30 #Python
python获取微信企业号打卡数据并生成windows计划任务
Apr 30 #Python
使用Python实现企业微信的自动打卡功能
Apr 30 #Python
Python/Django后端使用PIL Image生成头像缩略图
Apr 30 #Python
Python3.5迭代器与生成器用法实例分析
Apr 30 #Python
python使用Paramiko模块实现远程文件拷贝
Apr 30 #Python
Django学习笔记之为Model添加Action
Apr 30 #Python
You might like
php session应用实例 登录验证
2009/03/16 PHP
PHP使用Face++接口开发微信公众平台人脸识别系统的方法
2015/04/17 PHP
PHP各种异常和错误的拦截方法及发生致命错误时进行报警
2016/01/19 PHP
jQuery 处理表单元素的代码
2010/02/15 Javascript
JavaScript 上万关键字瞬间匹配实现代码
2013/07/07 Javascript
javascript 弹出的窗口返回值给父窗口具体实现
2013/11/23 Javascript
jquery提交form表单简单示例分享
2014/03/03 Javascript
最精简的JavaScript实现鼠标拖动效果的方法
2015/05/11 Javascript
原生JS实现N级菜单的代码
2017/05/21 Javascript
基于JavaScript+HTML5 实现打地鼠小游戏逻辑流程图文详解(附完整代码)
2017/11/02 Javascript
AngularJS 表单验证手机号的实例(非必填)
2017/11/12 Javascript
vue父组件异步获取数据传给子组件的方法
2018/07/26 Javascript
在vue中使用setInterval的方法示例
2019/04/16 Javascript
微信小程序云开发之模拟后台增删改查
2019/05/16 Javascript
VUE+node(express)实现前后端分离
2019/10/13 Javascript
Python通过正则表达式选取callback的方法
2015/07/18 Python
Python中列表元素转为数字的方法分析
2016/06/14 Python
使用python 爬虫抓站的一些技巧总结
2018/01/10 Python
python日期时间转为字符串或者格式化输出的实例
2018/05/29 Python
django中ORM模型常用的字段的使用方法
2019/03/05 Python
如何用Python 加密文件
2020/09/10 Python
python利用线程实现多任务
2020/09/18 Python
HTML5 新事件 小结
2009/07/16 HTML / CSS
英国顶级家庭折扣店:The Works
2017/09/06 全球购物
团结就是力量演讲稿
2014/05/21 职场文书
空气的环保标语
2014/06/12 职场文书
2014乡镇班子个人对照检查材料思想汇报
2014/09/26 职场文书
研究生个人学年总结
2015/02/14 职场文书
2015年禁毒宣传活动总结
2015/03/25 职场文书
人事任命通知
2015/04/20 职场文书
教师继续教育反思周记
2015/06/25 职场文书
2015年暑期社会实践方案
2015/07/14 职场文书
2016元旦晚会主持词开场白和结束语
2015/12/04 职场文书
85句关于理想的名言警句大全
2019/08/22 职场文书
Python可视化学习之seaborn绘制矩阵图详解
2022/02/24 Python
JVM之方法返回地址详解
2022/02/28 Java/Android