Windows下Python使用Pandas模块操作Excel文件的教程


Posted in Python onMay 31, 2016

安装Python环境
ANACONDA是一个Python的发行版本,包含了400多个Python最常用的库,其中就包括了数据分析中需要经常使用到的Numpy和Pandas等。更重要的是,不论在哪个平台上,都可以一键安装,自动配置好环境,不需要用户任何的额外操作,非常方便。因此,安装Python环境就只需要到ANACONDA网站上下载安装文件,双击安装即可。
ANACONDA官方下载地址:https://www.continuum.io/downloads
安装完成之后,使用windows + r键打开Windows命令行,输入ipython,然后回车:

Python 2.7.11 |Anaconda 2.5.0 (64-bit)| (default, Jan 29 2016, 14:26:21) [MSC v.1500 64 bit (AMD64)]

Type "copyright", "credits" or "license" for more information.

IPython 4.0.3 -- An enhanced Interactive Python.

?     -> Introduction and overview of IPython's features.

%quickref -> Quick reference.

help   -> Python's own help system.

object?  -> Details about 'object', use 'object??' for extra details.

如上所示,如果成功进入了Python环境,则代表安装成功。

使用pandas处理excel
在本文我以log.xls文件为例,来说明如何使用pandas处理excel文件。log.xls文件的内容如下所示:

Windows下Python使用Pandas模块操作Excel文件的教程

可以看到log.xls中包含了多个的表(sheet),每个表主要包括了member和activity两个属性,相同的member ID的数据相邻的排列在一起,并且最后一行是前面所有的汇总。这里,我们假设需要提取出每个member汇总的信息,即提取每个member连续出现的最后一行的数据。如何实现呢?

这里我们就来隆重介绍Pandas,,从https://pypi.python.org/pypi/pandas/0.16.2官方下载,cmd命令行进入下载解压目录,

python setup.py install

安装。

(PS:python的大数据模块pandas完全安装完毕后还依赖于
• NumPy: 1.6.1 or higher
• python-dateutil 1.5
• pytz
这三个模块也许要安装。
可选择依赖有(可以根据需要安装)
• SciPy: miscellaneous statistical functions
• PyTables: necessary for HDF5-based storage
• SQLAlchemy: for SQL database support. Version 0.8.1 or higher recommended.
• matplotlib: for plotting
• statsmodels
? Needed for parts of pandas.stats
• openpyxl, xlrd/xlwt
? openpyxl version 1.6.1 or higher, but lower than 2.0.0
? Needed for Excel I/O
• XlsxWriter
? Alternative Excel writer.
• boto: necessary for Amazon S3 access.

导入pandas模块:

import pandas as pd

使用import读入pandas模块,并且为了方便使用其缩写pd指代。

读入待处理的excel文件:

df = pd.read_excel('log.xls')

通过使用read_excel函数读入excel文件,后面需要替换成excel文件所在的路径。读入之后变为pandas的DataFrame对象。DataFrame是一个面向列(column-oriented)的二维表结构,且含有列表和行标,对excel文件的操作就转换为对DataFrame操作。另外,如果一个excel含有多个表,如果你只想读入其中一个可以:

df = pd.read_excel('log.xls', sheetname=1)

增加了一个参数sheetname,表示的是第几个表,从0开始计数。我上面设置的是1,也就是第二个表。

读入之后,可以先查看表头信息和每一列的数据类型:

df.dtypes
输出如下:
Member     object
Unnamed: 1  float64
Unnamed: 2  float64
Unnamed: 3  float64
Unnamed: 4  float64
Unnamed: 5  float64
家内外活动类型    object
Unnamed: 7   object
activity    object
dtype: object

提取每个member连续出现的最后一行数据:

new_df = df.drop_duplicates(subset='Member', keep='last')

以上语句的意思是根据Member字段去除掉多余的行,并且保留相同行的最后一行数据。这些就得到了每一个member最后一行的数据了,返回了经过筛选后的DataFrame。

接下来需要将处理后的结果,保存为excel文件:

out = pd.ExcelWriter('output.xls')
new_df.to_excel(out)
out.save()

output.xls是你要保存的文件名,可以任取;然后将DataFrame的内容保存到该文件,最后保存该文件到系统的磁盘上。

接下来,你就可以在当前目录看到一个新的文件,可以直接使用excel打开查看。

Pandas还提供了很多的API,可以根据具体的任务,查找API文档,找到合适的函数来完成任务。

附:一个完整的示例

#coding=utf-8
import pandas as pd

# 读入excel文件中的第2个表
df = pd.read_excel('log.xls', sheetname=1)
# 查看表的数据类型
print df.dtypes
# 查看Member列的数据
print df['Member']

'''
# 新建一列,每一行的值是Member列和activity列相同行值的和
for i in df.index:
  df['activity_2'][i] = df['Member'][i] + df['activity'][i]
'''

# 根据Member字段去除掉多余的行,并且保留相同行的最后一行数据
new_df = df.drop_duplicates(subset='Member', keep='last')
# 导出结果
out = pd.ExcelWriter('output.xls')
new_df.to_excel(out)
out.save()
Python 相关文章推荐
让python的Cookie.py模块支持冒号做key的方法
Dec 28 Python
python中使用序列的方法
Aug 03 Python
Python for Informatics 第11章 正则表达式(一)
Apr 21 Python
Python md5与sha1加密算法用法分析
Jul 14 Python
python 定时修改数据库的示例代码
Apr 08 Python
使用Python监控文件内容变化代码实例
Jun 04 Python
Python API 自动化实战详解(纯代码)
Jun 11 Python
ansible动态Inventory主机清单配置遇到的坑
Jan 19 Python
python图形开发GUI库wxpython使用方法详解
Feb 14 Python
pytorch masked_fill报错的解决
Feb 18 Python
解决python 执行sql语句时所传参数含有单引号的问题
Jun 06 Python
Python3 用什么IDE开发工具比较好
Nov 28 Python
深入理解python中的浅拷贝和深拷贝
May 30 #Python
浅谈Python的文件类型
May 30 #Python
python中string模块各属性以及函数的用法介绍
May 30 #Python
Python 常用string函数详解
May 30 #Python
整理Python 常用string函数(收藏)
May 30 #Python
深入浅析python继承问题
May 29 #Python
Python的几个高级语法概念浅析(lambda表达式闭包装饰器)
May 28 #Python
You might like
smarty实例教程
2006/11/19 PHP
zend framework文件上传功能实例代码
2013/12/25 PHP
ThinkPHP调用百度翻译类实现在线翻译
2014/06/26 PHP
PHP可变变量学习小结
2015/11/29 PHP
详解thinkphp中的volist标签
2018/01/15 PHP
php生成复杂验证码(倾斜,正弦干扰线,黏贴,旋转)
2018/03/12 PHP
使用composer安装使用thinkphp6.0框架问题【视频教程】
2019/10/01 PHP
jquery动态添加option示例
2013/12/30 Javascript
学习JavaScript设计模式之享元模式
2016/01/18 Javascript
通过Ajax使用FormData对象无刷新上传文件方法
2016/12/08 Javascript
js date 格式化
2017/02/15 Javascript
深入对Vue.js $watch方法的理解
2017/03/20 Javascript
微信小程序页面间通信的5种方式
2017/03/31 Javascript
微信小程序实现给循环列表添加点击样式实例
2017/04/26 Javascript
vue最简单的前后端交互示例详解
2018/10/11 Javascript
[03:01]2014DOTA2国际邀请赛 DC:我是核弹粉,为Burning和国土祝福
2014/07/13 DOTA
让Python代码更快运行的5种方法
2015/06/21 Python
Python实例一个类背后发生了什么
2016/02/09 Python
利用python编写一个图片主色转换的脚本
2017/12/07 Python
Python中最大最小赋值小技巧(分享)
2017/12/23 Python
python交换两个变量的值方法
2019/01/12 Python
python3.6 tkinter实现屏保小程序
2019/07/30 Python
Python facenet进行人脸识别测试过程解析
2019/08/16 Python
python3 tkinter实现添加图片和文本
2019/11/26 Python
python3 assert 断言的使用详解 (区别于python2)
2019/11/27 Python
Python使用QQ邮箱发送邮件报错smtplib.SMTPAuthenticationError
2019/12/20 Python
python爬虫开发之Beautiful Soup模块从安装到详细使用方法与实例
2020/03/09 Python
Pyecharts地图显示不完成问题解决方案
2020/05/11 Python
Django DRF认证组件流程实现原理详解
2020/08/17 Python
使用CSS3的背景渐变Text Gradient 创建文字颜色渐变
2014/08/19 HTML / CSS
Erwin Müller穆勒家居瑞士官网:您整个家庭的邮购公司
2019/12/28 全球购物
文化与传播毕业生求职信
2014/03/09 职场文书
学生会副主席竞聘书
2014/03/31 职场文书
岗位标兵事迹材料
2014/05/17 职场文书
幼儿园音乐教学反思
2016/02/18 职场文书
Python爬虫之爬取最新更新的小说网站
2021/05/06 Python