Python入门之使用pandas分析excel数据


Posted in Python onMay 12, 2021

1.问题

在python中,读写excel数据方法很多,比如xlrd、xlwt和openpyxl,实际上限制比较多,不是很方便。比如openpyxl也不支持csv格式。有没有更好的方法?

2.方案

更好的方法可以使用pandas,虽然pandas不是专门处理excel数据,但处理excel数据确实很方便。

本文使用excel的数据来自网络,数据内容如下:

Python入门之使用pandas分析excel数据

2.1.安装

使用pip进行安装。

pip3 install pandas

导入pandas:

import pandas as pd

下文使用pd进行pandas的操作。

2.2.读写文件

读取文件,比如excel,csv文件

# df是pandas.core.frame.DataFrame类型
df = pd.read_excel('./data/2020-suv.xlsx')

# read_csv可以指定分割符,编码方式等
df2 = pd.read_csv('./data/2020-suv.csv')

写入文件:

df.to_excel('./data/2020-suv-new.xlsx')
df.to_csv('./data/2020-suv-new.csv')

2.3.数据操作

all_cols = df.columns
print(all_cols)

# 输出,df.columns并非list类型
Index(['销量排名', '车系', '官方价', '从属品牌', '1-12月销量'], dtype='object')

# df.columns并非list类型,可以转化list
cols = list(df.columns)

获取列数据

col_data = df[u'车系']
mul_col_data = df[ [u'车系', u'1-12月销量'] ]

获取行数据

row_data = df.iloc[row_index]

获取所有行数据

all_data = df.values

切片获取多行数据

mul_row_data = df.iloc[2:4]

获取单元个数据

cell_data = df.iloc[row_index][col_index]

2.4.数据筛选

Excel数据筛选比较实用,用pandas同样可以,并且筛选代码保存后,下次可以直接使用。

某个字段包含指定值

# 包含一个值,na表示是否需要填充,case表示是否区分大小写,更强大的是contains还支持正则表达式
sub_df = df[ df[col_name].str.contains('key1', na=False, case=False) ]

# 包含多个值,多次调用即可
sub_df1 = df[ df[col_name].str.contains('key1', na=False, case=False) ]
sub_df2 = sub_df1[ sub_df1[col_name].str.contains('key2', na=False, case=False) ]

# 包含多个值(或)
sub_df = df[ df[col_name].str.contains('key1|key2|key3', na=False, case=False) ]

# 不包含,也就是非的过滤
sub_df = df[ ~df[col_name].str.contains('key1', na=False, case=False) ]

上述操作,都假设字段类型是字符串类型,不然会抛异常。可以通过以下的方法,可以判断字段是否是字符类型:

pd.api.types.is_string_dtype(df[u'车系'])

# 其他类型也有类似的函数,可以用dir查看有哪些类型判断
print(dir(pd.api.types))

# 可以通过dtypes查看字段的类型
pd.dtypes
pd[u'1-12月销量'].dtypes

条件过滤

# 大于
df[ df['1-12月销量'] > 50000 ] .values

# 相等
df[ df['1-12月销量'] == 50000 ] .values

2.5.数据写入

添加一行数据:

# 插在最后,row_datas是list
df.loc[len(df.index)] = row_datas

插入一列数据

# 在指定列前面插上一列数据
df.insert( col_index, col_name, col_datas, True)

更新某个单元值

df.iloc[row][col] = u'new-data'

2.6.数据删除

删除一列

df2 = df.drop('官方价', axis=1, inplace=False)
print(df2)

# 输出
销量排名           车系   从属品牌  1-12月销量
0       1         哈弗H6     哈弗   376864
1       2       本田CR-V     本田   249983
2       3           博越   吉利汽车   240811
3       4          途观L     大众   178574
4       5  长安CS75 PLUS   长安汽车   266824
..    ...          ...    ...      ...
282   283      北汽新能源EX  北汽新能源      879
283   284        奔腾X40     奔腾    20412
284   285    标致2008新能源     标致       37
285   286       猎豹CS10   猎豹汽车       14
286   287         森雅R7     一汽        1

[287 rows x 4 columns]

删除一行

df3 = df.drop(2, axis=0, inplace=False)
print(df3)

# 输出
     销量排名           车系           官方价   从属品牌  1-12月销量
0       1         哈弗H6   9.80-15.49万     哈弗   376864
1       2       本田CR-V  16.98-27.68万     本田   249983
3       4          途观L  21.58-28.58万     大众   178574
4       5  长安CS75 PLUS  10.69-15.49万   长安汽车   266824
5       6       本田XR-V  12.79-17.59万     本田   168272
..    ...          ...           ...    ...      ...
282   283      北汽新能源EX  18.39-20.29万  北汽新能源      879
283   284        奔腾X40          暂无报价     奔腾    20412
284   285    标致2008新能源  16.60-18.80万     标致       37
285   286       猎豹CS10   7.98-11.98万   猎豹汽车       14
286   287         森雅R7   6.69-10.69万     一汽        1

[286 rows x 5 columns]

3.讨论

pandas库用于大数据分析和AI,库本身比较复杂,很多功能未必用得上,日常使用可以简单的封装,能够读、写、搜索excel或csv数据,pandas比起专门操作excel的库要好用得多,简单封装一下即可。详细的使用说明,可以参见pandas官方文档。

https://pandas.pydata.org/docs/user_guide/index.html#user-guide

总结

到此这篇关于Python入门学习之使用pandas分析excel数据的文章就介绍到这了,更多相关Python用pandas分析excel内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Python标准库inspect的具体使用方法
Dec 06 Python
Python字符串格式化%s%d%f详解
Feb 02 Python
python生成器,可迭代对象,迭代器区别和联系
Feb 04 Python
Python在图片中插入大量文字并且自动换行
Jan 02 Python
python+webdriver自动化环境搭建步骤详解
Jun 03 Python
详解python 利用echarts画地图(热力图)(世界地图,省市地图,区县地图)
Aug 06 Python
Python算法中的时间复杂度问题
Nov 19 Python
kafka-python 获取topic lag值方式
Dec 23 Python
python将图片转base64,实现前端显示
Jan 09 Python
执行Python程序时模块报错问题
Mar 26 Python
python爬虫容易学吗
Jun 02 Python
numba提升python运行速度的实例方法
Jan 25 Python
将Python代码打包成.exe可执行文件的完整步骤
python3实现Dijkstra算法最短路径的实现
pytorch 中autograd.grad()函数的用法说明
python3实现无权最短路径的方法
Python入门之基础语法详解
May 11 #Python
如何利用Matlab制作一款真正的拼图小游戏
Python机器学习之逻辑回归
You might like
PHP可变函数的使用详解
2013/06/14 PHP
Yii实现单用户博客系统文章详情页插入评论表单的方法
2015/12/28 PHP
php实现的读取CSV文件函数示例
2017/02/07 PHP
浅谈PHP无限极分类原理
2019/03/14 PHP
js模拟滚动条(横向竖向)
2013/02/22 Javascript
SwfUpload在IE10上不出现上传按钮的解决方法
2013/06/25 Javascript
iframe的onreadystatechange事件在firefox下的使用
2014/04/16 Javascript
MVVM模式中ViewModel和View、Model有什么区别?
2015/06/19 Javascript
详解JavaScript中的Unescape()和String() 函数
2015/11/09 Javascript
javascript验证手机号和实现星号(*)代替实例
2016/08/16 Javascript
setTimeout学习小结
2017/02/08 Javascript
Angular 2.x学习教程之结构指令详解
2017/05/25 Javascript
浅析为什么a="abc" 不等于 a=new String("abc")
2017/10/25 Javascript
纯JS实现出生日期[年月日]下拉菜单效果
2018/06/01 Javascript
Web安全之XSS攻击与防御小结
2018/12/13 Javascript
微信小程序实现商品属性联动选择
2019/02/15 Javascript
JavaScript生成一个不重复的ID的方法示例
2019/09/16 Javascript
vue cli3适配所有端方案的实现
2020/04/13 Javascript
对于Python的框架中一些会话程序的管理
2015/04/20 Python
python基于phantomjs实现导入图片
2016/05/13 Python
用Django实现一个可运行的区块链应用
2018/03/08 Python
python 判断三个数字中的最大值实例代码
2019/07/24 Python
Python paramiko模块使用解析(实现ssh)
2019/08/30 Python
Python中如何添加自定义模块
2020/06/09 Python
canvas绘制圆角头像的实现方法
2019/01/17 HTML / CSS
Myprotein比利时官方网站:欧洲第一运动营养品牌
2020/10/04 全球购物
进程的查看和调度分别使用什么命令
2013/12/14 面试题
山海经纬软件测试笔试题和面试题
2013/04/02 面试题
商务英语专业自荐信
2013/10/14 职场文书
餐饮业的创业计划书范文
2013/12/26 职场文书
土建专业大学生自荐信范文
2014/04/09 职场文书
2014年采购员工作总结
2014/11/18 职场文书
销售经理工作检讨书
2015/02/19 职场文书
2015年依法行政工作总结
2015/04/29 职场文书
从贫穷到富有,是知识技能和学习力的差别
2019/08/20 职场文书
python的列表生成式,生成器和generator对象你了解吗
2022/03/16 Python