Windows下Python使用Pandas模块操作Excel文件的教程


Posted in Python onMay 31, 2016

安装Python环境
ANACONDA是一个Python的发行版本,包含了400多个Python最常用的库,其中就包括了数据分析中需要经常使用到的Numpy和Pandas等。更重要的是,不论在哪个平台上,都可以一键安装,自动配置好环境,不需要用户任何的额外操作,非常方便。因此,安装Python环境就只需要到ANACONDA网站上下载安装文件,双击安装即可。
ANACONDA官方下载地址:https://www.continuum.io/downloads
安装完成之后,使用windows + r键打开Windows命令行,输入ipython,然后回车:

Python 2.7.11 |Anaconda 2.5.0 (64-bit)| (default, Jan 29 2016, 14:26:21) [MSC v.1500 64 bit (AMD64)]

Type "copyright", "credits" or "license" for more information.

IPython 4.0.3 -- An enhanced Interactive Python.

?     -> Introduction and overview of IPython's features.

%quickref -> Quick reference.

help   -> Python's own help system.

object?  -> Details about 'object', use 'object??' for extra details.

如上所示,如果成功进入了Python环境,则代表安装成功。

使用pandas处理excel
在本文我以log.xls文件为例,来说明如何使用pandas处理excel文件。log.xls文件的内容如下所示:

Windows下Python使用Pandas模块操作Excel文件的教程

可以看到log.xls中包含了多个的表(sheet),每个表主要包括了member和activity两个属性,相同的member ID的数据相邻的排列在一起,并且最后一行是前面所有的汇总。这里,我们假设需要提取出每个member汇总的信息,即提取每个member连续出现的最后一行的数据。如何实现呢?

这里我们就来隆重介绍Pandas,,从https://pypi.python.org/pypi/pandas/0.16.2官方下载,cmd命令行进入下载解压目录,

python setup.py install

安装。

(PS:python的大数据模块pandas完全安装完毕后还依赖于
• NumPy: 1.6.1 or higher
• python-dateutil 1.5
• pytz
这三个模块也许要安装。
可选择依赖有(可以根据需要安装)
• SciPy: miscellaneous statistical functions
• PyTables: necessary for HDF5-based storage
• SQLAlchemy: for SQL database support. Version 0.8.1 or higher recommended.
• matplotlib: for plotting
• statsmodels
? Needed for parts of pandas.stats
• openpyxl, xlrd/xlwt
? openpyxl version 1.6.1 or higher, but lower than 2.0.0
? Needed for Excel I/O
• XlsxWriter
? Alternative Excel writer.
• boto: necessary for Amazon S3 access.

导入pandas模块:

import pandas as pd

使用import读入pandas模块,并且为了方便使用其缩写pd指代。

读入待处理的excel文件:

df = pd.read_excel('log.xls')

通过使用read_excel函数读入excel文件,后面需要替换成excel文件所在的路径。读入之后变为pandas的DataFrame对象。DataFrame是一个面向列(column-oriented)的二维表结构,且含有列表和行标,对excel文件的操作就转换为对DataFrame操作。另外,如果一个excel含有多个表,如果你只想读入其中一个可以:

df = pd.read_excel('log.xls', sheetname=1)

增加了一个参数sheetname,表示的是第几个表,从0开始计数。我上面设置的是1,也就是第二个表。

读入之后,可以先查看表头信息和每一列的数据类型:

df.dtypes
输出如下:
Member     object
Unnamed: 1  float64
Unnamed: 2  float64
Unnamed: 3  float64
Unnamed: 4  float64
Unnamed: 5  float64
家内外活动类型    object
Unnamed: 7   object
activity    object
dtype: object

提取每个member连续出现的最后一行数据:

new_df = df.drop_duplicates(subset='Member', keep='last')

以上语句的意思是根据Member字段去除掉多余的行,并且保留相同行的最后一行数据。这些就得到了每一个member最后一行的数据了,返回了经过筛选后的DataFrame。

接下来需要将处理后的结果,保存为excel文件:

out = pd.ExcelWriter('output.xls')
new_df.to_excel(out)
out.save()

output.xls是你要保存的文件名,可以任取;然后将DataFrame的内容保存到该文件,最后保存该文件到系统的磁盘上。

接下来,你就可以在当前目录看到一个新的文件,可以直接使用excel打开查看。

Pandas还提供了很多的API,可以根据具体的任务,查找API文档,找到合适的函数来完成任务。

附:一个完整的示例

#coding=utf-8
import pandas as pd

# 读入excel文件中的第2个表
df = pd.read_excel('log.xls', sheetname=1)
# 查看表的数据类型
print df.dtypes
# 查看Member列的数据
print df['Member']

'''
# 新建一列,每一行的值是Member列和activity列相同行值的和
for i in df.index:
  df['activity_2'][i] = df['Member'][i] + df['activity'][i]
'''

# 根据Member字段去除掉多余的行,并且保留相同行的最后一行数据
new_df = df.drop_duplicates(subset='Member', keep='last')
# 导出结果
out = pd.ExcelWriter('output.xls')
new_df.to_excel(out)
out.save()
Python 相关文章推荐
在Python中使用异步Socket编程性能测试
Jun 25 Python
使用Python发送邮件附件以定时备份MySQL的教程
Apr 25 Python
Django框架中的对象列表视图使用示例
Jul 21 Python
Python工程师面试必备25条知识点
Jan 17 Python
Python实现基于PIL和tesseract的验证码识别功能示例
Jul 11 Python
Flask入门之上传文件到服务器的方法示例
Jul 18 Python
Python代码打开本地.mp4格式文件的方法
Jan 03 Python
浅析Python与Mongodb数据库之间的操作方法
Jul 01 Python
Python简单处理坐标排序问题示例
Jul 11 Python
python中使用you-get库批量在线下载bilibili视频的教程
Mar 10 Python
Python selenium文件上传下载功能代码实例
Apr 13 Python
解决Keras TensorFlow 混编中 trainable=False设置无效问题
Jun 28 Python
深入理解python中的浅拷贝和深拷贝
May 30 #Python
浅谈Python的文件类型
May 30 #Python
python中string模块各属性以及函数的用法介绍
May 30 #Python
Python 常用string函数详解
May 30 #Python
整理Python 常用string函数(收藏)
May 30 #Python
深入浅析python继承问题
May 29 #Python
Python的几个高级语法概念浅析(lambda表达式闭包装饰器)
May 28 #Python
You might like
PHP邮件专题
2006/10/09 PHP
PHP编程与应用
2006/10/09 PHP
php空间不支持socket但支持curl时recaptcha的用法
2011/11/07 PHP
Parse正式发布开源PHP SDK
2014/08/11 PHP
PHP获取一个字符串中间一部分字符的方法
2014/08/19 PHP
分享php分页的功能模块
2015/06/16 PHP
PHP编程文件处理类SplFileObject和SplFileInfo用法实例分析
2017/07/22 PHP
PHP实现动态添加XML中数据的方法
2018/03/30 PHP
thinkphp 框架数据库切换实现方法分析
2020/05/18 PHP
多浏览器兼容性比较好的复制到剪贴板的js代码
2011/10/09 Javascript
js有序数组的连接问题
2013/10/01 Javascript
jQuery实现的超酷苹果风格图标滑出菜单效果代码
2015/09/16 Javascript
基于jquery实现表格无刷新分页
2016/01/07 Javascript
微信小程序实现皮肤功能(夜间模式)
2017/06/18 Javascript
video.js 实现视频只能后退不能快进的思路详解
2018/08/09 Javascript
基于Vue 实现一个中规中矩loading组件
2019/04/03 Javascript
通过实例解析JavaScript常用排序算法
2020/09/02 Javascript
[15:41]教你分分钟做大人——灰烬之灵
2015/03/11 DOTA
[01:05]主宰至宝剑心之遗
2017/03/16 DOTA
Python ORM框架SQLAlchemy学习笔记之安装和简单查询实例
2014/06/10 Python
详细讲解Python中的文件I/O操作
2015/05/24 Python
使用python的pexpect模块,实现远程免密登录的示例
2019/02/14 Python
Python-while 计算100以内奇数和的方法
2019/06/11 Python
Python实现剪刀石头布小游戏(与电脑对战)
2019/12/31 Python
英国领先的运动营养品牌:Protein Dynamix
2018/01/02 全球购物
Fresh馥蕾诗英国官网:法国LVMH集团旗下高端天然护肤品牌
2018/11/01 全球购物
建筑学推荐信
2013/11/03 职场文书
口腔医学技术应届生求职信
2013/11/09 职场文书
工程管理造价应届生求职信
2013/11/13 职场文书
化学学院毕业生自荐信范文
2013/12/17 职场文书
政府个人对照检查材料
2014/08/28 职场文书
警示教育观后感
2015/06/17 职场文书
利用ajax+php实现商品价格计算
2021/03/31 PHP
python munch库的使用解析
2021/05/25 Python
html5实现点击弹出图片功能
2021/07/16 HTML / CSS
centos8安装MongoDB的详细过程
2021/10/24 MongoDB