Pandas 数据编码的十种方法


Posted in Python onApril 20, 2022

大家好,我是早起。

最近在知乎上看到这样一个问题

Pandas 数据编码的十种方法

题主表示pandas用起来很乱,事实真的如此吗?本文就将先如何利用pandas来行数据转换/编码的十种方案,最后再回答这个问题。

其实这个操作在机器学习中十分常见,很多算法都需要我们对分类特征进行转换(编码),即根据某一列的值,新增(修改)一列。

为了方便理解,下面创建示例DataFrame

Pandas 数据编码的十种方法

数值型数据

让我们先来讨论连续型数据的转换,也就是根据Score列的值,来新增一列标签,即如果分数大于90,则标记为A,分数在80-90标记为B,以此类推。

自定义函数 + 循环遍历

首先当然是最简单,最笨的方法,自己写一个函数,并用循环遍历,那肯定就是一个def加一个for

df1 = df.copy()

def myfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'
    
df1['Score_Label'] = None
for i in range(len(df1)):
    df1.iloc[i,3] = myfun(df1.iloc[i,2])

这段代码,相信所有人都能看懂,简单好想但比较麻

Pandas 数据编码的十种方法

有没有更简单的办法呢?pandas当然提供了很多高效的操作的函数,继续往下看。

自定义函数 + map

现在,可以使用map来干掉循环(虽然本质上也是循环)

df2 = df.copy()

def mapfun(x):
    if x>90:
        return 'A'
    elif x>=80 and x<90:
        return 'B'
    elif x>=70 and x<80:
        return 'C'
    elif x>=60 and x<70:
        return 'D'
    else:
        return 'E'

df2['Score_Label'] = df2['Score'].map(mapfun)

结果是同样的

Pandas 数据编码的十种方法

自定义函数 + apply

如果还想简洁代码,可以使用自定义函数 + apply来干掉自定义函数

df3 = df.copy()
df3['Score_Label'] = df3['Score'].apply(lambda x: 'A' if x > 90 else (
    'B' if 90 > x >= 80 else ('C' if 80 > x >= 70 else ('D' if 70 > x >= 60 else 'E'))))

结果和上面是一致的,只不过这么写容易被打。

使用 pd.cut

现在,让我们继续了解更高级的pandas函数,依旧是对 Score 进行编码,使用pd.cut,并指定划分的区间后,可以直接帮你分好组

df4 = df.copy()
bins = [0, 59, 70, 80, 100]
df4['Score_Label'] = pd.cut(df4['Score'], bins)

Pandas 数据编码的十种方法

也可以直接使用labels参数来修改对应组的名称,是不是方便多了

df4['Score_Label_new'] = pd.cut(df4['Score'], bins, labels=[
                                'low', 'middle', 'good', 'perfect'])

Pandas 数据编码的十种方法

使用 sklearn 二值化

既然是和机器学习相关,sklearn肯定跑不掉,如果需要新增一列并判定成绩是否及格,就可以使用Binarizer函数,代码也是简洁好懂

df5 = df.copy()
binerize = Binarizer(threshold = 60)
trans = binerize.fit_transform(np.array(df1['Score']).reshape(-1,1))
df5['Score_Label'] = trans

Pandas 数据编码的十种方法

文本型数据

下面介绍更常见的,对文本数据进行转换打标签。例如新增一列,将性别男、女分别标记为0、1

使用 replace

首先介绍replace,但要注意的是,上面说过的自定义函数相关方法依旧是可行的

df6 = df.copy()
df6['Sex_Label'] = df6['Sex'].replace(['Male','Female'],[0,1])

Pandas 数据编码的十种方法

上面是对性别操作,因为只有男女,所以可以手动指定0、1,但要是类别很多,也可以使用pd.value_counts()来自动指定标签,例如对Course Name列分组

df6 = df.copy()
value = df6['Course Name'].value_counts()
value_map = dict((v, i) for i,v in enumerate(value.index))
df6['Course Name_Label'] = df6.replace({'Course Name':value_map})['Course Name']

Pandas 数据编码的十种方法

使用map

额外强调的是,新增一列,一定要能够想到map

df7 = df.copy()
Map = {elem:index for index,elem in enumerate(set(df["Course Name"]))}
df7['Course Name_Label'] = df7['Course Name'].map(Map)

Pandas 数据编码的十种方法

使用astype

这个方法应该很多人不知道,这就属于上面提到的知乎问题,能实现的方法太多了

df8 = df.copy()
value = df8['Course Name'].astype('category')
df8['Course Name_Label'] = value.cat.codes

Pandas 数据编码的十种方法

使用 sklearn

同数值型一样,这种机器学习中的经典操作,sklearn一定有办法,使用LabelEncoder可以对分类数据进行编码

from sklearn.preprocessing import LabelEncoder
df9 = df.copy()
le = LabelEncoder()
le.fit(df9['Sex'])
df9['Sex_Label'] = le.transform(df9['Sex'])
le.fit(df9['Course Name'])
df9['Course Name_Label'] = le.transform(df9['Course Name'])

Pandas 数据编码的十种方法

一次性转换两列也是可以的

df9 = df.copy()
le = OrdinalEncoder()
le.fit(df9[['Sex','Course Name']])
df9[['Sex_Label','Course Name_Label']] = le.transform(df9[['Sex','Course Name']])

使用factorize

最后,再介绍一个小众但好用的pandas方法,我们需要注意到,在上面的方法中,自动生成的Course Name_Label列,虽然一个数据对应一个语言,因为避免写自定义函数或者字典,这样可以自动生成,所以大多是无序的。

如果我们希望它是有序的,也就是 Python 对应 0Java对应1,除了自己指定,还有什么优雅的办法?这时可以使用factorize,它会根据出现顺序进行编码

df10 = df.copy()
df10['Course Name_Label'] = pd.factorize(df10['Course Name'])[0]

Pandas 数据编码的十种方法

结合匿名函数,我们可以做到对多列进行有序编码转换

df10 = df.copy()
cat_columns = df10.select_dtypes(['object']).columns

df10[['Sex_Label', 'Course Name_Label']] = df10[cat_columns].apply(
    lambda x: pd.factorize(x)[0])

Pandas 数据编码的十种方法

总结

至此,我要介绍的十种pandas数据编码的方法就分享完毕,代码拿走修改变量名就能用

现在回到文章开头的问题,如果你觉得pandas用起来很乱,说明你可能还未对pandas有一个全面且彻底的了解。

其实就像本文介绍数据编码转换一样,确实有很多方法可以实现显得很乱,但学习pandas的正确姿势就是应该把它当成字典来学,不必记住所有方法与细节,你只需知道有这么个函数能完成这样操作,需要用时能想到,想到再来查就行。

以上就是Pandas进行数据编码的十种方式总结的详细内容!

Python 相关文章推荐
Python脚本实现DNSPod DNS动态解析域名
Feb 14 Python
Python之py2exe打包工具详解
Jun 14 Python
python与C互相调用的方法详解
Jul 14 Python
通过python顺序修改文件名字的方法
Jul 11 Python
对Python3 解析html的几种操作方式小结
Feb 16 Python
Python Web程序搭建简单的Web服务器
Jul 31 Python
selenium 多窗口切换的实现(windows)
Jan 18 Python
python GUI库图形界面开发之PyQt5表格控件QTableView详细使用方法与实例
Mar 01 Python
python中前缀运算符 *和 **的用法示例详解
May 28 Python
用Python开发app后端有优势吗
Jun 29 Python
python中用ggplot绘制画图实例讲解
Jan 26 Python
python playwrigh框架入门安装使用
Jul 23 Python
Python读取和写入Excel数据
Python 的演示平台支持 WSGI 接口的应用
Apr 20 #Python
python​格式化字符串
Apr 20 #Python
Python编写冷笑话生成器
Apr 20 #Python
Python Django / Flask如何使用Elasticsearch
Apr 19 #Python
python中mongodb包操作数据库
Apr 19 #Python
Elasticsearch 聚合查询和排序
Apr 19 #Python
You might like
比较时间段一与时间段二是否有交集的php函数
2011/05/31 PHP
ThinkPHP3.2.1图片验证码实现方法
2016/08/19 PHP
PHP文件上传、客户端和服务器端加限制、抓取错误信息、完整步骤解析
2017/01/12 PHP
收集的一些Array及String原型对象的扩展实现代码
2010/12/05 Javascript
jQuery的deferred对象使用详解
2011/08/20 Javascript
Array, Array Constructor, for in loop, typeof, instanceOf
2011/09/13 Javascript
使用JavaScript动态设置样式实现代码及演示动画
2013/01/25 Javascript
jquery创建一个ajax关键词数据搜索实现思路
2013/02/26 Javascript
基于jquery实现的文字向上跑动类似跑马灯的效果
2014/06/17 Javascript
jQuery控制的不同方向的滑动(向左、向右滑动等)
2014/07/18 Javascript
seajs加载jquery时提示$ is not a function该怎么解决
2015/10/23 Javascript
JS定义类的六种方式详解
2016/05/12 Javascript
Javascript实现通过选择周数显示开始日和结束日的实现代码
2016/05/30 Javascript
ES6教程之for循环和Map,Set用法分析
2017/04/10 Javascript
Vue.js实现的计算器功能完整示例
2018/07/11 Javascript
详解mpvue开发小程序小总结
2018/07/25 Javascript
ES6中的class是如何实现的(附Babel编译的ES5代码详解)
2019/05/17 Javascript
Vue 解决通过this.$refs来获取DOM或者组件报错问题
2020/07/28 Javascript
Ant design vue中的联动选择取消操作
2020/10/31 Javascript
Python help()函数用法详解
2014/03/11 Python
Python按行读取文件的简单实现方法
2016/06/22 Python
Python获取网段内ping通IP的方法
2019/01/31 Python
python numpy存取文件的方式
2020/04/01 Python
一款基于css3的列表toggle特效实例教程
2015/01/04 HTML / CSS
德国户外装备、登山运动和攀岩商店:tapir store
2020/02/12 全球购物
司仪主持词两篇
2014/03/22 职场文书
《搭石》教学反思
2014/04/07 职场文书
大学竞选班长演讲稿
2014/04/24 职场文书
黄山导游词
2015/01/31 职场文书
员工自我工作评价
2015/03/06 职场文书
2016年小学中秋节活动总结
2016/04/05 职场文书
mysql中int(3)和int(10)的数值范围是否相同
2021/10/16 MySQL
一级电子管军用接收机测评
2022/04/05 无线电
Axios代理配置及封装响应拦截处理方式
2022/04/07 Vue.js
python使用shell脚本创建kafka连接器
2022/04/29 Python
Nginx本地配置SSL访问的实例教程
2022/05/30 Servers