python pandas中DataFrame类型数据操作函数的方法


Posted in Python onApril 08, 2018

python数据分析工具pandas中DataFrame和Series作为主要的数据结构.

本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。

1)查看DataFrame数据及属性

df_obj = DataFrame() #创建DataFrame对象
df_obj.dtypes #查看各行的数据格式
df_obj['列名'].astype(int)#转换某列的数据类型
df_obj.head() #查看前几行的数据,默认前5行
df_obj.tail() #查看后几行的数据,默认后5行
df_obj.index #查看索引
df_obj.columns #查看列名
df_obj.values #查看数据值
df_obj.describe() #描述性统计
df_obj.T #转置
df_obj.sort_values(by=['',''])#同上

2)使用DataFrame选择数据:

df_obj.ix[1:3] #获取1-3行的数据,该操作叫切片操作,获取行数据
df_obj.ix[columns_index] #获取列的数据
df_obj.ix[1:3,[1,3]]#获取1列3列的1~3行数据
df_obj[columns].drop_duplicates() #剔除重复行数据

3)使用DataFrame重置数据:

df_obj.ix[1:3,[1,3]]=1#所选位置数据替换为1

4)使用DataFrame筛选数据(类似SQL中的WHERE):

alist = ['023-18996609823']
df_obj['用户号码'].isin(alist) #将要过滤的数据放入字典中,使用isin对数据进行筛选,返回行索引以及每行筛选的结果,若匹配则返回ture
df_obj[df_obj['用户号码'].isin(alist)] #获取匹配结果为ture的行

5)使用DataFrame模糊筛选数据(类似SQL中的LIKE):

df_obj[df_obj['套餐'].str.contains(r'.*?语音CDMA.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次

6)使用DataFrame进行数据转换(后期补充说明)

df_obj['支局_维护线'] = df_obj['支局_维护线'].str.replace('巫溪分公司(.{2,})支局','\\1')#可以使用正则表达式
可以设置take_last=ture 保留最后一个,或保留开始一个.补充说明:注意take_last=ture已过时,请使用keep='last'

7)使用pandas中读取数据:

read_csv('D:\LQJ.csv',sep=';',nrows=2) #首先输入csv文本地址,然后分割符选择等等
df.to_excel('foo.xlsx',sheet_name='Sheet1');pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])#写入读取excel数据,pd.read_excel读取的数据是以DataFrame形式存储
df.to_hdf('foo.h5','df');pd.read_hdf('foo.h5','df')#写入读取HDF5数据

8)使用pandas聚合数据(类似SQL中的GROUP BY 或HAVING):

data_obj['用户标识'].groupby(data_obj['支局_维护线'])
data_obj.groupby('支局_维护线')['用户标识'] #上面的简单写法
adsl_obj.groupby('支局_维护线')['用户标识'].agg([('ADSL','count')])#按支局进行汇总对用户标识进行计数,并将计数列的列名命名为ADSL

9)使用pandas合并数据集(类似SQL中的JOIN):

merge(mxj_obj2, mxj_obj1 ,on='用户标识',how='inner')# mxj_obj1和mxj_obj2将用户标识当成重叠列的键合并两个数据集,inner表示取两个数据集的交集.

10)清理数据

df[df.isnull()]
df[df.notnull()]
df.dropna()#将所有含有nan项的row删除
df.dropna(axis=1,thresh=3) #将在列的方向上三个为NaN的项删除
df.dropna(how='ALL')#将全部项都是nan的row删除填充值
df.fillna(0)
df.fillna({1:0,2:0.5}) #对第一列nan值赋0,第二列赋值0.5
df.fillna(method='ffill') #在列方向上以前一个值作为值赋给NaN

实例

1. 读取excel数据

代码如下

import pandas as pd# 读取高炉数据,注意文件名不能为中文
data=pd.read_excel('gaolushuju_201501-03.xlsx', '201501', index_col=None, na_values=['NA'])
print data

测试结果如下

燃料比 顶温西南 顶温西北 顶温东南 顶温东北
0  531.46  185  176  176  174
1  510.35  184  173  184  188
2  533.49  180  165  182  177
3  511.51  190  172  179  188
4  531.02  180  167  173  180
5  511.24  174  164  178  176
6  532.62  173  170  168  179
7  583.00  182  175  176  173
8  530.70  158  149  159  156
9  530.32  168  156  169  171
10 528.62  164  150  171  169

2. 切片处理,选取行或列,修改数据

代码如下:

data_1row=data.ix[1]
data_5row_2col=data.ix[0:5,[u'燃料比',u'顶温西南']
print data_1row,data_5row_2col
data_5row_2col.ix[0:1,0:2]=3

测试结果如下:

燃料比   510.35
顶温西南  184.00
顶温西北  173.00
顶温东南  184.00
顶温东北  188.00
Name: 1, dtype: float64  
  燃料比 顶温西南
0 531.46  185
1 510.35  184
2 533.49  180
3 511.51  190
4 531.02  180
5 511.24  174
   燃料比 顶温西南
0  3.00   3
1  3.00   3
2 533.49  180
3 511.51  190
4 531.02  180
5 511.24  174

格式说明,data_5row_2col.ix[0:1,0:2],data_5row_2col.ix[0:1,[0,2]],选取部分行和列需加”[]”

3. 排序

代码如下:

print data_1row.sort_values()
print data_5row_2col.sort_values(by=u'燃料比')

测试结果如下:

顶温西北  173.00
顶温西南  184.00
顶温东南  184.00
顶温东北  188.00
燃料比   510.35
Name: 1, dtype: float64
   燃料比 顶温西南
1 510.35  184
5 511.24  174
3 511.51  190
4 531.02  180
0 531.46  185
2 533.49  180

4. 删除重复的行

代码如下:

print data_5row_2col[u'顶温西南'].drop_duplicates()#剔除重复行数据

测试结果如下:

0  185
1  184
2  180
3  190
5  174
Name: 顶温西南, dtype: int64

说明:从测试结果3中可以看出顶温西南index=2的数据与index=4的数据重复,测试结果4显示将index=4的顶温西南数据删除

以上这篇python pandas中DataFrame类型数据操作函数的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python随手笔记之标准类型内建函数
Dec 02 Python
python 定义n个变量方法 (变量声明自动化)
Nov 10 Python
python3 字符串/列表/元组(str/list/tuple)相互转换方法及join()函数的使用
Apr 03 Python
Python玩转PDF的各种骚操作
May 06 Python
pyQT5 实现窗体之间传值的示例
Jun 20 Python
Django错误:TypeError at / 'bool' object is not callable解决
Aug 16 Python
Python 合并多个TXT文件并统计词频的实现
Aug 23 Python
Python3常用内置方法代码实例
Nov 18 Python
Python合并2个字典成1个新字典的方法(9种)
Dec 19 Python
Python socket聊天脚本代码实例
Jan 02 Python
tensorflow使用指定gpu的方法
Feb 04 Python
python实现图片横向和纵向拼接
Mar 05 Python
python随机取list中的元素方法
Apr 08 #Python
Python实现的端口扫描功能示例
Apr 08 #Python
Python简单实现的代理服务器端口映射功能示例
Apr 08 #Python
pandas修改DataFrame列名的方法
Apr 08 #Python
Python数据分析库pandas基本操作方法
Apr 08 #Python
浅谈pandas中shift和diff函数关系
Apr 08 #Python
使用DataFrame删除行和列的实例讲解
Apr 08 #Python
You might like
php5.3提示Function ereg() is deprecated Error问题解决方法
2014/11/12 PHP
php自动加载方式集合
2016/04/04 PHP
php注册和登录界面的实现案例(推荐)
2016/10/24 PHP
jscript之List Excel Color Values
2007/06/13 Javascript
javascript 获取图片颜色
2009/04/05 Javascript
window.onload 加载完毕的问题及解决方案(下)
2009/07/09 Javascript
javascript多种数据类型表格排序代码分析
2010/09/11 Javascript
js 利用image对象实现图片的预加载提高访问速度
2013/03/29 Javascript
jQuery中bind()方法用法实例
2015/01/19 Javascript
javascript实现简单的进度条
2015/07/02 Javascript
安装使用Mongoose配合Node.js操作MongoDB的基础教程
2016/03/01 Javascript
浅析JavaScript中var that=this
2017/02/17 Javascript
解决淘宝cnpm 安装后cnpm不是内部或外部命令的问题
2018/05/17 Javascript
JS中call和apply函数用法实例分析
2018/06/20 Javascript
vue 组件的封装之基于axios的ajax请求方法
2018/08/11 Javascript
详解ng-alain动态表单SF表单项设置必填和正则校验
2019/06/11 Javascript
Vue 设置axios请求格式为form-data的操作步骤
2019/10/29 Javascript
SpringBoot+Vue 前后端合并部署的配置方法
2020/12/30 Vue.js
[02:43]DOTA2英雄基础教程 半人马战行者
2014/01/13 DOTA
python操作MongoDB基础知识
2013/11/01 Python
python通过pil模块将raw图片转换成png图片的方法
2015/03/16 Python
Java Web开发过程中登陆模块的验证码的实现方式总结
2016/05/25 Python
Python实现中文数字转换为阿拉伯数字的方法示例
2017/05/26 Python
选择Python写网络爬虫的优势和理由
2019/07/07 Python
python Django框架实现web端分页呈现数据
2019/10/31 Python
python3+opencv 使用灰度直方图来判断图片的亮暗操作
2020/06/02 Python
英国乐购杂货:Tesco Groceries
2018/11/29 全球购物
幼儿园实习自我鉴定
2013/12/15 职场文书
体育专业学生自我评价范文
2014/01/17 职场文书
市场部规章制度
2014/01/24 职场文书
法定代表人授权委托书范文
2014/08/02 职场文书
领导班子三严三实对照检查材料
2014/09/25 职场文书
业务员岗位职责范本
2015/04/03 职场文书
2015年国庆节标语大全
2015/07/30 职场文书
Nginx进程调度问题详解
2021/09/25 Servers
什么是动态刷新率DRR? Windows11动态刷新率功能介绍
2021/11/21 数码科技