Windows下Python使用Pandas模块操作Excel文件的教程


Posted in Python onMay 31, 2016

安装Python环境
ANACONDA是一个Python的发行版本,包含了400多个Python最常用的库,其中就包括了数据分析中需要经常使用到的Numpy和Pandas等。更重要的是,不论在哪个平台上,都可以一键安装,自动配置好环境,不需要用户任何的额外操作,非常方便。因此,安装Python环境就只需要到ANACONDA网站上下载安装文件,双击安装即可。
ANACONDA官方下载地址:https://www.continuum.io/downloads
安装完成之后,使用windows + r键打开Windows命令行,输入ipython,然后回车:

Python 2.7.11 |Anaconda 2.5.0 (64-bit)| (default, Jan 29 2016, 14:26:21) [MSC v.1500 64 bit (AMD64)]

Type "copyright", "credits" or "license" for more information.

IPython 4.0.3 -- An enhanced Interactive Python.

?     -> Introduction and overview of IPython's features.

%quickref -> Quick reference.

help   -> Python's own help system.

object?  -> Details about 'object', use 'object??' for extra details.

如上所示,如果成功进入了Python环境,则代表安装成功。

使用pandas处理excel
在本文我以log.xls文件为例,来说明如何使用pandas处理excel文件。log.xls文件的内容如下所示:

Windows下Python使用Pandas模块操作Excel文件的教程

可以看到log.xls中包含了多个的表(sheet),每个表主要包括了member和activity两个属性,相同的member ID的数据相邻的排列在一起,并且最后一行是前面所有的汇总。这里,我们假设需要提取出每个member汇总的信息,即提取每个member连续出现的最后一行的数据。如何实现呢?

这里我们就来隆重介绍Pandas,,从https://pypi.python.org/pypi/pandas/0.16.2官方下载,cmd命令行进入下载解压目录,

python setup.py install

安装。

(PS:python的大数据模块pandas完全安装完毕后还依赖于
• NumPy: 1.6.1 or higher
• python-dateutil 1.5
• pytz
这三个模块也许要安装。
可选择依赖有(可以根据需要安装)
• SciPy: miscellaneous statistical functions
• PyTables: necessary for HDF5-based storage
• SQLAlchemy: for SQL database support. Version 0.8.1 or higher recommended.
• matplotlib: for plotting
• statsmodels
? Needed for parts of pandas.stats
• openpyxl, xlrd/xlwt
? openpyxl version 1.6.1 or higher, but lower than 2.0.0
? Needed for Excel I/O
• XlsxWriter
? Alternative Excel writer.
• boto: necessary for Amazon S3 access.

导入pandas模块:

import pandas as pd

使用import读入pandas模块,并且为了方便使用其缩写pd指代。

读入待处理的excel文件:

df = pd.read_excel('log.xls')

通过使用read_excel函数读入excel文件,后面需要替换成excel文件所在的路径。读入之后变为pandas的DataFrame对象。DataFrame是一个面向列(column-oriented)的二维表结构,且含有列表和行标,对excel文件的操作就转换为对DataFrame操作。另外,如果一个excel含有多个表,如果你只想读入其中一个可以:

df = pd.read_excel('log.xls', sheetname=1)

增加了一个参数sheetname,表示的是第几个表,从0开始计数。我上面设置的是1,也就是第二个表。

读入之后,可以先查看表头信息和每一列的数据类型:

df.dtypes
输出如下:
Member     object
Unnamed: 1  float64
Unnamed: 2  float64
Unnamed: 3  float64
Unnamed: 4  float64
Unnamed: 5  float64
家内外活动类型    object
Unnamed: 7   object
activity    object
dtype: object

提取每个member连续出现的最后一行数据:

new_df = df.drop_duplicates(subset='Member', keep='last')

以上语句的意思是根据Member字段去除掉多余的行,并且保留相同行的最后一行数据。这些就得到了每一个member最后一行的数据了,返回了经过筛选后的DataFrame。

接下来需要将处理后的结果,保存为excel文件:

out = pd.ExcelWriter('output.xls')
new_df.to_excel(out)
out.save()

output.xls是你要保存的文件名,可以任取;然后将DataFrame的内容保存到该文件,最后保存该文件到系统的磁盘上。

接下来,你就可以在当前目录看到一个新的文件,可以直接使用excel打开查看。

Pandas还提供了很多的API,可以根据具体的任务,查找API文档,找到合适的函数来完成任务。

附:一个完整的示例

#coding=utf-8
import pandas as pd

# 读入excel文件中的第2个表
df = pd.read_excel('log.xls', sheetname=1)
# 查看表的数据类型
print df.dtypes
# 查看Member列的数据
print df['Member']

'''
# 新建一列,每一行的值是Member列和activity列相同行值的和
for i in df.index:
  df['activity_2'][i] = df['Member'][i] + df['activity'][i]
'''

# 根据Member字段去除掉多余的行,并且保留相同行的最后一行数据
new_df = df.drop_duplicates(subset='Member', keep='last')
# 导出结果
out = pd.ExcelWriter('output.xls')
new_df.to_excel(out)
out.save()
Python 相关文章推荐
python实现每次处理一个字符的三种方法
Oct 09 Python
基于Django用户认证系统详解
Feb 21 Python
Python常见MongoDB数据库操作实例总结
Jul 24 Python
python 利用文件锁单例执行脚本的方法
Feb 19 Python
Python计算公交发车时间的完整代码
Feb 12 Python
pycharm 中mark directory as exclude的用法详解
Feb 14 Python
将自己的数据集制作成TFRecord格式教程
Feb 17 Python
python根据完整路径获得盘名/路径名/文件名/文件扩展名的方法
Apr 22 Python
PyTorch的torch.cat用法
Jun 28 Python
python中逻辑与或(and、or)和按位与或异或(&、|、^)区别
Aug 05 Python
python实现简单贪吃蛇游戏
Sep 29 Python
使用Python爬取Json数据的示例代码
Dec 07 Python
深入理解python中的浅拷贝和深拷贝
May 30 #Python
浅谈Python的文件类型
May 30 #Python
python中string模块各属性以及函数的用法介绍
May 30 #Python
Python 常用string函数详解
May 30 #Python
整理Python 常用string函数(收藏)
May 30 #Python
深入浅析python继承问题
May 29 #Python
Python的几个高级语法概念浅析(lambda表达式闭包装饰器)
May 28 #Python
You might like
php调用MySQL存储过程的方法集合(推荐)
2013/07/03 PHP
CentOS 安装 PHP5.5+Redis+XDebug+Nginx+MySQL全纪录
2015/03/25 PHP
php生成PDF格式文件并且加密
2015/06/22 PHP
PHP实现用户异地登录提醒功能的方法【基于thinkPHP框架】
2018/03/15 PHP
laravel 字段格式化 modle 字段类型转换方法
2019/09/30 PHP
[原创]网络复制内容时常用的正则+editplus
2006/11/30 Javascript
一个js写的日历(代码部分网摘)
2009/09/20 Javascript
让iframe子窗体取父窗体地址栏参数(querystring)
2009/10/13 Javascript
基于jquery的一个图片hover的插件
2010/04/24 Javascript
各情景下元素宽高的获取实现代码
2011/09/13 Javascript
使用cluster 将自己的Node服务器扩展为多线程服务器
2014/11/10 Javascript
node.js中的fs.renameSync方法使用说明
2014/12/16 Javascript
javaScript中push函数用法实例分析
2015/06/08 Javascript
JavaScript实现把数字转换成中文
2015/06/29 Javascript
Javascript刷新窗口方法小结
2015/10/21 Javascript
js鼠标跟随运动效果
2017/03/11 Javascript
JavaScript实现简单生成随机颜色的方法
2017/09/21 Javascript
实例详解ztree在vue项目中使用并且带有搜索功能
2018/08/24 Javascript
vue表单自定义校验规则介绍
2018/08/28 Javascript
详解使用JWT实现单点登录(完全跨域方案)
2019/08/02 Javascript
Vue移动端项目实现使用手机预览调试操作
2020/07/18 Javascript
Python中无限元素列表的实现方法
2014/08/18 Python
查找python项目依赖并生成requirements.txt的方法
2018/07/10 Python
使用Python横向合并excel文件的实例
2018/12/11 Python
BP神经网络原理及Python实现代码
2018/12/18 Python
python正则表达式re.match()匹配多个字符方法的实现
2021/01/27 Python
canvas进阶之贝塞尔公式推导与物体跟随复杂曲线的轨迹运动
2018/01/10 HTML / CSS
智能钱包:Ekster
2019/11/21 全球购物
介绍下java.util.Arrays类
2012/10/16 面试题
幼儿园户外活动总结
2014/07/04 职场文书
企业介绍信范文
2015/01/30 职场文书
淘宝客服专员岗位职责
2015/04/07 职场文书
教师创先争优承诺书
2015/04/27 职场文书
2015年乡镇残联工作总结
2015/05/13 职场文书
推广普通话的宣传语
2015/07/13 职场文书
html2 canvas svg不能识别的解决方案
2021/06/03 HTML / CSS