python 利用panda 实现列联表(交叉表)


Posted in Python onFebruary 06, 2021

交叉表(cross-tabulation,简称crosstab)是⼀种⽤于计算分组频率的特殊透视表。

语法详解:

pd.crosstab(index, # 分组依据
   columns, # 列
   values=None, # 聚合计算的值
   rownames=None, # 列名称
   colnames=None, # 行名称
   aggfunc=None, # 聚合函数
   margins=False, # 总计行/列
   dropna=True, # 是否删除缺失值
   normalize=False # 
   )

1 crosstab() 实例1

1.1 读取数据

import os
import numpy as np
import pandas as pd

file_name = os.path.join(path, 'Excel_test.xls')
df = pd.read_excel(io=file_name, # 工作簿路径
     sheetname='透视表', # 工作表名称
     skiprows=1, # 要忽略的行数
     parse_cols='A:D' # 读入的列
     )
df

python 利用panda 实现列联表(交叉表)

1.2 pd.crosstab() 默认生成以行和列分类的频数表

pd.crosstab(df['客户名称'], df['产品类别'])

python 利用panda 实现列联表(交叉表)

1.3 设置跟多参数实现分类汇总

pd.crosstab(index=df['客户名称'],
   columns=df['产品类别'],
   values=df['销量'],
   aggfunc='sum',
   margins=True
   ).round(0).fillna(0).astype('int')

python 利用panda 实现列联表(交叉表)

注:因为交叉表示透视表的特例,所以交叉表可以用透视表的函数实现。又因为透视表可以用更 python 的方式 groupby-apply 实现,所以,交叉表完全可以用 groupby-apply 的方式实现。

2 用分类汇总的方法实现 交叉表

df.groupby(['客户名称', '产品类别']).apply(sum)

python 利用panda 实现列联表(交叉表)

2.1 分类汇总、重新索引、设置数值格式综合应用

c_tbl = df.groupby(['客户名称', '产品类别']).apply(sum)['销量'].unstack()
c_tbl['总计'] = c_tbl.sum(axis=1) # 添加总计列
c_tbl.fillna(0).round(0).astype('int')

python 利用panda 实现列联表(交叉表)

软件信息:

python 利用panda 实现列联表(交叉表)

补充:使用python(pandas)将数据处理成交叉分组表

交叉分组表是汇总两种变量数据的方法, 在很多场景可以用到, 本文会介绍如何使用pandas将包含两个变量的数据集处理成交叉分组表.

环境

pandas

python 2.7

原理

用坐标轴来进行比喻, 其中一个变量作为x轴, 另一个作为y轴, 如果定位到数据则累加一, 将所有数据遍历一遍, 最后的坐标轴就是一张交叉分组表(使用坐标轴展示的数据一般是连续的, 交叉分组表的数据是离散的).

具体实现

示例数据:

quality price
0  bad 18
1  bad 17
2  great  52
3  good  28
4  excellent  88
5  great  63
6  bad 8
7  good  22
8  good  68
9  excellent  98
10 great  53
11 bad 13
12 great  62
13 good  48
14 excellent  78
15 great  63
16 good  37
17 great  69
18 good  28
19 excellent  81
20 great  43
21 good  32
22 great  62
23 good  28
24 excellent  82
25 great  53

代码:

import pandas as pd
  from pandas import DataFrame, Series
  #生成数据
  df = DataFrame([['bad', 18], ['bad', 17], ['great', 52], ['good', 28], ['excellent', 88], ['great', 63]
        , ['bad', 8], ['good', 22], ['good', 68], ['excellent', 98], ['great', 53]
        , ['bad', 13], ['great', 62], ['good', 48], ['excellent', 78], ['great', 63]
        , ['good', 37], ['great', 69], ['good', 28], ['excellent', 81], ['great', 43]
        , ['good', 32], ['great', 62], ['good', 28], ['excellent', 82], ['great', 53]], columns = ['quality', 'price'])
#广播使用的函数
def quality_cut(data):
  s = Series(pd.cut(data['price'], np.arange(0, 100, 10)))
  return pd.groupby(s, s).count()
#进行分组处理
df.groupby(df['quality']).apply(quality_cut)

结果:

python 利用panda 实现列联表(交叉表)

交叉分组

详细分析

从逻辑上来看, 为了达到对示例数据的交叉分组, 需要完成以下工作:

将数据以quality列进行分组.

将每个分组的数据分别进行cut, 以10为间隔.

将cut过的数据, 以cut的范围为列进行分组

将所有数据组合到一起, row为quality, columns为cut的范围

步骤1, pandasgroupby(...)接口, 会按照指定的列进行分组处理, 每一个分组, 存储相同类别的数据

<class 'pandas.core.frame.DataFrame'>
  quality price
0   bad   18
1   bad   17
6   bad   8
11   bad   13

而我们需要的, 只是price这列的数据, 所以单独将这列拿出来, 进行cut, 最后得到我们要的series(步骤2, 步骤3)

price
(0, 10]   1
(10, 20]  3
(20, 30]  0
(30, 40]  0
(40, 50]  0
(50, 60]  0
(60, 70]  0
(70, 80]  0
(80, 90]  0

使用pandas

apply()的广播特性, 每一个分组的数据都会经过上述几个步骤的处理, 最后与第一次分组row进行组合.

后记

估计能力有限, 这个问题想了很长时间, 没想到pandas这么可以这么方便达成交叉分组的效果. 思考的时候主要是卡在数据组合上, 当数据量很大时通过多个步骤进行数据组合, 肯定是低效而且错误的. 最后仔细研究了groupby, dataframe, series, dataframeIndex等数据模型, 使用广播特性用几句代码就完成了. 证明了pandas的高性能, 也提醒自己遇见问题一定要耐心分析。

以上为个人经验,希望能给大家一个参考,也希望大家多多支持三水点靠木。如有错误或未考虑完全的地方,望不吝赐教。

Python 相关文章推荐
Django与遗留的数据库整合的方法指南
Jul 24 Python
Python工程师面试题 与Python Web相关
Jan 14 Python
Python自动发邮件脚本
Mar 31 Python
Python实现的视频播放器功能完整示例
Feb 01 Python
python实现淘宝秒杀聚划算抢购自动提醒源码
Jun 23 Python
Python实现从log日志中提取ip的方法【正则提取】
Mar 31 Python
python 统计一个列表当中的每一个元素出现了多少次的方法
Nov 14 Python
Django对models里的objects的使用详解
Aug 17 Python
django-crontab实现服务端的定时任务的示例代码
Feb 17 Python
如何教少儿学习Python编程
Jul 10 Python
Python字符串的15个基本操作(小结)
Feb 03 Python
Python实现灰色关联分析与结果可视化的详细代码
Mar 25 Python
jupyter 添加不同内核的操作
Feb 06 #Python
解决import tensorflow导致jupyter内核死亡的问题
Feb 06 #Python
PyCharm常用配置和常用插件(小结)
Feb 06 #Python
完美解决torch.cuda.is_available()一直返回False的玄学方法
Feb 06 #Python
python反扒机制的5种解决方法
Feb 06 #Python
Python 爬取淘宝商品信息栏目的实现
Feb 06 #Python
解决pytorch下出现multi-target not supported at的一种可能原因
Feb 06 #Python
You might like
浅析PHP程序设计中的MVC编程思想
2014/07/28 PHP
PHP中的一些常用函数收集
2015/05/26 PHP
thinkphp隐藏index.php/home并允许访问其他模块的实现方法
2016/10/13 PHP
基于php数组中的索引数组和关联数组详解
2018/03/12 PHP
PHP数组基本用法与知识点总结
2020/06/02 PHP
Javascript YUI 读码日记之 YAHOO.util.Dom - Part.2 0
2008/03/22 Javascript
javascript贪吃蛇完整版(源码)
2013/12/09 Javascript
禁止IE用右键的JS代码
2013/12/30 Javascript
超链接的禁用属性Disabled使用示例
2014/07/31 Javascript
JavaScript html5 canvas绘制时钟效果
2016/03/01 Javascript
开启BootStrap学习之旅
2016/05/04 Javascript
JS实现页面数据无限加载
2016/09/13 Javascript
jQuery实现带延时功能的水平多级菜单效果【附demo源码下载】
2016/09/21 Javascript
js实现页面刷新滚动条位置不变
2016/11/27 Javascript
JavaScript Ajax实现异步通信
2016/12/14 Javascript
ionic2自定义cordova插件开发以及使用(Android)
2017/06/19 Javascript
Vue 实现手动刷新组件的方法
2019/02/19 Javascript
python连接池实现示例程序
2013/11/26 Python
Python3基础之list列表实例解析
2014/08/13 Python
Python实现TCP/IP协议下的端口转发及重定向示例
2016/06/14 Python
浅谈Django REST Framework限速
2017/12/12 Python
python and or用法详解
2019/06/26 Python
python读写Excel表格的实例代码(简单实用)
2019/12/19 Python
Pytorch 之修改Tensor部分值方式
2019/12/27 Python
Pytest框架之fixture的详细使用教程
2020/04/07 Python
Python轻量级web框架bottle使用方法解析
2020/06/13 Python
局部内部类是否可以访问非final变量?
2013/04/20 面试题
SOA的常见陷阱或者误解是什么
2014/10/05 面试题
高中生学期学习自我评价
2014/02/24 职场文书
自我查摆剖析材料
2014/10/11 职场文书
2014年办公室文员工作总结
2014/11/12 职场文书
教师学期末个人总结
2015/02/13 职场文书
民事辩护词范文
2015/05/21 职场文书
教师培训学习心得体会
2016/01/21 职场文书
2016年万圣节活动个人总结
2016/04/05 职场文书
Go语言空白表示符_的实例用法
2021/07/04 Golang