Python进行数据提取的方法总结


Posted in Python onAugust 22, 2016

准备工作

首先是准备工作,导入需要使用的库,读取并创建数据表取名为loandata。

import numpy as np
import pandas as pd
loandata=pd.DataFrame(pd.read_excel('loan_data.xlsx'))

Python进行数据提取的方法总结

设置索引字段

在开始提取数据前,先将member_id列设置为索引字段。然后开始提取数据。

Loandata = loandata.set_index('member_id')

Python进行数据提取的方法总结

按行提取信息

第一步是按行提取数据,例如提取某个用户的信息。下面使用ix函数对member_id为1303503的用户信息进行了提取。

loandata.ix[1303503]

Python进行数据提取的方法总结

按列提取信息

第二步是按列提取数据,例如提取用户工作年限列的所有信息,下面是具体的代码和提取结果,显示了所有用户的工作年龄信息。

loandata.ix[:,'emp_length']

Python进行数据提取的方法总结

按行与列提取信息

第三步是按行和列提取信息,把前面两部的查询条件放在一起,查询特定用户的特定信息,下面是查询member_id为1303503的用户的emp_length信息。

loandata.ix[1303503,'emp_length']

Python进行数据提取的方法总结

在前面的基础上继续增加条件,增加一行同时查询两个特定用户的贷款金额信息。具体代码和查询结果如下。结果中分别列出了两个用户的代码金额。

loandata.ix[[1303503,1298717],'loan_amnt']

Python进行数据提取的方法总结

在前面的代码后增加sum函数,对结果进行求和,同样是查询两个特定用户的贷款进行,下面的结果中直接给出了贷款金额的汇总值。

loandata.ix[[1303503,1298717],'loan_amnt'].sum()

Python进行数据提取的方法总结

除了增加行的查询条件以外,还可以增加列的查询条件,下面的代码中查询了一个特定用户的贷款金额和年收入情况,结果中分别显示了这两个字段的结果。

loandata.ix[1303503,['loan_amnt','annual_inc']]

Python进行数据提取的方法总结

多个列的查询也可以进行求和计算,在前面的代码后增加sum函数,对这个用户的贷款金额和年收入两个字段求和,并显示出结果。

loandata.ix[1303503,['loan_amnt','annual_inc']].sum()

Python进行数据提取的方法总结

提取特定日期的信息

数据提取中还有一种很常见的需求就是按日期维度对数据进行汇总和提取,如按月,季度的汇总数据提取和按特定时间段的数据提取等等。

设置索引字段

首先将索引字段改为数据表中的日期字段,这里将issue_d设置为数据表的索引字段。按日期进行查询和数据提取。

loandata = loandata.set_index('issue_d')

Python进行数据提取的方法总结

按日期提取信息

下面的代码查询了所有2016年的数据。

loandata['2016']

Python进行数据提取的方法总结

在前面代码的基础上增加月份,查询所有2016年3月的数据。

loandata['2016-03']

Python进行数据提取的方法总结

继续在前面代码的基础上增加日期,查询所有2016年6月16日的数据。

loandata['2016-06-16']

Python进行数据提取的方法总结

除了按单独日期查询以外,还可以按日期段进行数据查询,下面的代码中查询了所有2016年1月至5月的数据。下面显示了具体的查询结果,可以发现数据的日期都是在1-5月的,但是按日期维度显示的,这就需要我们对数据按月进行汇总。

loandata['2016-01':'2016-05']

Python进行数据提取的方法总结

按日期汇总信息

Pandas中的resample函数可以完成日期的聚合工作,包括按小时维度,日期维度,月维度,季度及年的维度等等。下面我们分别说明。首先是按周的维度对前面数据表的数据进行求和。下面的代码中W表示聚合方式是按周,how表示数据的计算方式,默认是计算平均值,这里设置为sum,进行求和计算。

loandata.resample('W',how=sum).head(10)

Python进行数据提取的方法总结

将W改为M,数据变成了按月聚合的方式。计算方式依然是求和。这里需要说明的是resample函数会显示出所有连续的时间段,例如前面按周的聚合操作会显示连续的周日期,这里的按月操作则会在结果中显示连续的月,如果某个时间段没有数据,会以NaN值显示。

loandata.resample('M',how=sum)

Python进行数据提取的方法总结

将前面代码中的M改为Q,则为按季度对数据进行聚合,计算方式依然为求和。从下面的数据表中看,日期显示的都是每个季度的最后一天,如果希望以每个季度的第一天显示,可以改为QS。

loandata.resample('Q',how=sum)

Python进行数据提取的方法总结

将前面代码中的Q改为A,就是按年对数据进行聚合,计算方式依然为求和。

loandata.resample('A',how=sum)

Python进行数据提取的方法总结

前面的方法都是对整个数据表进行聚合和求和操作,如果只需要对某一个字段的值进行聚合和求和,可以在数据表后增加列的名称。下面是将贷款金额字段按月聚合后求和,并用0填充空值。

loandata['loan_amnt'].resample('M',how=sum).fillna(0)

Python进行数据提取的方法总结

在前面代码的基础上再增加一个数值字段,并且在后面的计算方式中增加len用来计数。在下面的结果中分别对贷款金额和利息收入按月聚合,并进行求和和计数计算

loandata[['loan_amnt','total_rec_int']].resample('M',how=[len,sum])

Python进行数据提取的方法总结

有时我们需要只对某一时间段的数据进行聚合和计算,下面的代码中对2016年1月至5月的数据按月进行了聚合,并计算求和。用0填充空值。

loandata['2016-01':'2016-05'].resample('M',how=sum).fillna(0)

Python进行数据提取的方法总结

或者只对某些符合条件的数据进行聚合和计算。下面的代码中对于贷款金额大于5000的按月进行聚合,并计算求和。空值以0进行填充。

loandata[loandata['loan_amnt']>5000].resample('M',how=sum).fillna(0)

Python进行数据提取的方法总结

除了按周,月,季度和年以外,resample函数还可以按以下方式对日期进行聚合。

下面给出了具体的对应表和说明。

 Python进行数据提取的方法总结

总结

以上就是利用python按特定的维度或条件对数据进行提取的全部内容,希望本文的内容对大家学习使用Python能有所帮助。

Python 相关文章推荐
python实现计算资源图标crc值的方法
Oct 05 Python
Python中使用Queue和Condition进行线程同步的方法
Jan 19 Python
Python列表和元组的定义与使用操作示例
Jul 26 Python
Python设计模式之MVC模式简单示例
Jan 10 Python
Python解决两个整数相除只得到整数部分的实例
Nov 10 Python
如何安装并使用conda指令管理python环境
Jul 10 Python
ORM Django 终端打印 SQL 语句实现解析
Aug 09 Python
Python3实现配置文件差异对比脚本
Nov 18 Python
在spyder IPython console中,运行代码加入参数的实例
Apr 20 Python
Tensorflow中的图(tf.Graph)和会话(tf.Session)的实现
Apr 22 Python
python进度条显示之tqmd模块
Aug 22 Python
Python pandas求方差和标准差的方法实例
Aug 04 Python
详解Python实现按任意键继续/退出的功能
Aug 19 #Python
利用Python开发微信支付的注意事项
Aug 19 #Python
Python用模块pytz来转换时区
Aug 19 #Python
教你用python3根据关键词爬取百度百科的内容
Aug 18 #Python
利用Python爬取可用的代理IP
Aug 18 #Python
总结用Pdb库调试Python的方式及常用的命令
Aug 18 #Python
Python实现命令行通讯录实例教程
Aug 18 #Python
You might like
php实现Mongodb自定义方式生成自增ID的方法
2015/03/23 PHP
详解PHP数组赋值方法
2015/11/07 PHP
PHP加密3DES报错 Call to undefined function: mcrypt_module_open() 如何解决
2016/04/17 PHP
通过event对象的fromElement属性解决热区设置主实体的一个bug
2008/12/22 Javascript
jQuery中filter(),not(),split()使用方法
2010/07/06 Javascript
用RadioButten或CheckBox实现div的显示与隐藏
2013/09/21 Javascript
Js获取下拉框选定项的值和文本的实现代码
2014/02/26 Javascript
利用jquery动画特效和css打造的侧边弹出垂直导航
2014/04/04 Javascript
JS实现图片高亮展示效果实例
2015/11/24 Javascript
jQuery实现div随意拖动的实例代码(通用代码)
2016/01/28 Javascript
jQuery插件dataTables添加序号列的方法
2016/07/06 Javascript
利用jQuery对无序列表排序的简单方法
2016/10/16 Javascript
vue.js之vue-cli脚手架的搭建详解
2017/05/05 Javascript
JS实现经典的中国地区三级联动下拉菜单功能实例【测试可用】
2017/06/06 Javascript
Vue的实例、生命周期与Vue脚手架(vue-cli)实例详解
2017/12/27 Javascript
vue2.0 computed 计算list循环后累加值的实例
2018/03/07 Javascript
Vue封装一个简单轻量的上传文件组件的示例
2018/03/21 Javascript
vue-router实现编程式导航的代码实例
2019/01/19 Javascript
jquery+css实现Tab栏切换的代码实例
2019/05/14 jQuery
基于JavaScript获取base64图片大小
2019/10/18 Javascript
实例讲解Python中的私有属性
2014/08/21 Python
在Python中处理字符串之isdigit()方法的使用
2015/05/18 Python
Python搭建FTP服务器的方法示例
2018/01/19 Python
深入理解python中sort()与sorted()的区别
2018/08/29 Python
python opencv读mp4视频的实例
2018/12/07 Python
Python3爬虫学习之爬虫利器Beautiful Soup用法分析
2018/12/12 Python
python3:excel操作之读取数据并返回字典 + 写入的案例
2020/09/01 Python
英国打印机墨盒销售网站:Ink Factory
2019/10/07 全球购物
俄罗斯第一家多品牌在线奢侈品精品店:Aizel.ru
2020/09/06 全球购物
2014年大班元旦活动方案
2014/02/26 职场文书
会计学专业求职信
2014/07/17 职场文书
医药公司采购员岗位职责
2014/09/12 职场文书
就业推荐表院系意见
2015/06/05 职场文书
复制别人的成功真的会成功吗?
2019/10/17 职场文书
如何搭建 MySQL 高可用高性能集群
2021/06/21 MySQL
Android实现获取短信验证码并自动填充
2023/05/21 Java/Android