十分钟搞定pandas(入门教程)


Posted in Python onJune 21, 2019

本文是对pandas官方网站上《10Minutes to pandas》的一个简单的翻译,原文在这里。这篇文章是对pandas的一个简单的介绍,详细的介绍请参考:Cookbook 。习惯上,我们会按下面格式引入所需要的包:

十分钟搞定pandas(入门教程)

一、创建对象

可以通过Data Structure Intro Setion 来查看有关该节内容的详细信息。

1、可以通过传递一个list对象来创建一个Series,pandas会默认创建整型索引:

十分钟搞定pandas(入门教程)

2、通过传递一个numpyarray,时间索引以及列标签来创建一个DataFrame:

十分钟搞定pandas(入门教程)

3、通过传递一个能够被转换成类似序列结构的字典对象来创建一个DataFrame:

十分钟搞定pandas(入门教程)

4、查看不同列的数据类型:

十分钟搞定pandas(入门教程)

5、如果你使用的是IPython,使用Tab自动补全功能会自动识别所有的属性以及自定义的列,下图中是所有能够被自动识别的属性的一个子集:

十分钟搞定pandas(入门教程)

二、查看数据

详情请参阅:Basics Section

1、 查看frame中头部和尾部的行:

十分钟搞定pandas(入门教程)

2、 显示索引、列和底层的numpy数据:

十分钟搞定pandas(入门教程)

3、 describe()函数对于数据的快速统计汇总:

十分钟搞定pandas(入门教程)

4、 对数据的转置:

十分钟搞定pandas(入门教程)

5、 按轴进行排序

十分钟搞定pandas(入门教程)

6、 按值进行排序

十分钟搞定pandas(入门教程)

三、选择

虽然标准的Python/Numpy的选择和设置表达式都能够直接派上用场,但是作为工程使用的代码,我们推荐使用经过优化的pandas数据访问方式: .at,.iat,.loc,.iloc和.ix详情请参阅Indexingand Selecing Data 和 MultiIndex/ Advanced Indexing。

l 获取

1、 选择一个单独的列,这将会返回一个Series,等同于df.A:

十分钟搞定pandas(入门教程)

2、 通过[]进行选择,这将会对行进行切片

十分钟搞定pandas(入门教程)

l 通过标签选择

1、 使用标签来获取一个交叉的区域

十分钟搞定pandas(入门教程)

2、 通过标签来在多个轴上进行选择

十分钟搞定pandas(入门教程)

3、 标签切片

十分钟搞定pandas(入门教程)

4、 对于返回的对象进行维度缩减

十分钟搞定pandas(入门教程)

5、 获取一个标量

十分钟搞定pandas(入门教程)

6、 快速访问一个标量(与上一个方法等价)

十分钟搞定pandas(入门教程)

l 通过位置选择

1、 通过传递数值进行位置选择(选择的是行)

十分钟搞定pandas(入门教程)

2、 通过数值进行切片,与numpy/python中的情况类似

十分钟搞定pandas(入门教程)

3、 通过指定一个位置的列表,与numpy/python中的情况类似

十分钟搞定pandas(入门教程)

4、 对行进行切片

十分钟搞定pandas(入门教程)

5、 对列进行切片

十分钟搞定pandas(入门教程)

6、 获取特定的值

十分钟搞定pandas(入门教程)

l 布尔索引

1、 使用一个单独列的值来选择数据:

十分钟搞定pandas(入门教程)

2、 使用where操作来选择数据:

十分钟搞定pandas(入门教程)

3、 使用isin()方法来过滤:

十分钟搞定pandas(入门教程)

l 设置

1、 设置一个新的列:

十分钟搞定pandas(入门教程)

2、 通过标签设置新的值:

十分钟搞定pandas(入门教程)

3、 通过位置设置新的值:

十分钟搞定pandas(入门教程)

4、 通过一个numpy数组设置一组新值:

十分钟搞定pandas(入门教程)

上述操作结果如下:

十分钟搞定pandas(入门教程)

5、 通过where操作来设置新的值:

十分钟搞定pandas(入门教程)

四、缺失值处理

在pandas中,使用np.nan来代替缺失值,这些值将默认不会包含在计算中,详情请参阅:Missing Data Section。

1、 reindex()方法可以对指定轴上的索引进行改变/增加/删除操作,这将返回原始数据的一个拷贝:、

十分钟搞定pandas(入门教程)

2、 去掉包含缺失值的行:

十分钟搞定pandas(入门教程)

3、 对缺失值进行填充:

十分钟搞定pandas(入门教程)

4、 对数据进行布尔填充:

十分钟搞定pandas(入门教程)

五、相关操作

详情请参与Basic Section On Binary Ops

l 统计(相关操作通常情况下不包括缺失值)

1、 执行描述性统计:

十分钟搞定pandas(入门教程)

2、 在其他轴上进行相同的操作:

十分钟搞定pandas(入门教程)

3、 对于拥有不同维度,需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播:

十分钟搞定pandas(入门教程)

l Apply

1、 对数据应用函数:

十分钟搞定pandas(入门教程)

l 直方图

具体请参照:Histogrammingand Discretization

十分钟搞定pandas(入门教程)

l 字符串方法

Series对象在其str属性中配备了一组字符串处理方法,可以很容易的应用到数组中的每个元素,如下段代码所示。更多详情请参考:Vectorized String Methods.

十分钟搞定pandas(入门教程)

六、合并

Pandas提供了大量的方法能够轻松的对Series,DataFrame和Panel对象进行各种符合各种逻辑关系的合并操作。具体请参阅:Mergingsection

l Concat

十分钟搞定pandas(入门教程)

l Join 类似于SQL类型的合并,具体请参阅:Databasestyle joining

十分钟搞定pandas(入门教程)

l Append 将一行连接到一个DataFrame上,具体请参阅Appending

十分钟搞定pandas(入门教程)

七、分组

对于”group by”操作,我们通常是指以下一个或多个操作步骤:

l (Splitting)按照一些规则将数据分为不同的组;

l (Applying)对于每组数据分别执行一个函数;

l (Combining)将结果组合到一个数据结构中;

详情请参阅:Groupingsection

十分钟搞定pandas(入门教程)

1、 分组并对每个分组执行sum函数:

十分钟搞定pandas(入门教程)

2、 通过多个列进行分组形成一个层次索引,然后执行函数:

十分钟搞定pandas(入门教程)

八、Reshaping

详情请参阅HierarchicalIndexingReshaping

l Stack

十分钟搞定pandas(入门教程)

十分钟搞定pandas(入门教程)

十分钟搞定pandas(入门教程)

l 数据透视表,详情请参阅:PivotTables.

十分钟搞定pandas(入门教程)

可以从这个数据中轻松的生成数据透视表:

十分钟搞定pandas(入门教程)

九、时间序列

Pandas在对频率转换进行重新采样时拥有简单、强大且高效的功能(如将按秒采样的数据转换为按5分钟为单位进行采样的数据)。这种操作在金融领域非常常见。具体参考:TimeSeries section

十分钟搞定pandas(入门教程)

1、 时区表示:

十分钟搞定pandas(入门教程)

2、 时区转换:

十分钟搞定pandas(入门教程)

3、 时间跨度转换:

十分钟搞定pandas(入门教程)

4、 时期和时间戳之间的转换使得可以使用一些方便的算术函数。

十分钟搞定pandas(入门教程)

十、Categorical

从0.15版本开始,pandas可以在DataFrame中支持Categorical类型的数据,详细介绍参看:categoricalintroductionAPIdocumentation

十分钟搞定pandas(入门教程)

1、 将原始的grade转换为Categorical数据类型:

十分钟搞定pandas(入门教程)

2、 将Categorical类型数据重命名为更有意义的名称:

十分钟搞定pandas(入门教程)

3、 对类别进行重新排序,增加缺失的类别:

十分钟搞定pandas(入门教程)

4、 排序是按照Categorical的顺序进行的而不是按照字典顺序进行:

十分钟搞定pandas(入门教程)

5、 对Categorical列进行排序时存在空的类别:

十分钟搞定pandas(入门教程)

十一、画图

具体文档参看:Plottingdocs

十分钟搞定pandas(入门教程)

对于DataFrame来说,plot是一种将所有列及其标签进行绘制的简便方法:

十分钟搞定pandas(入门教程)

十分钟搞定pandas(入门教程)

十二、导入和保存数据

l CSV,参考:Writingto a csv file

1、 写入csv文件:

十分钟搞定pandas(入门教程)

2、 从csv文件中读取:

十分钟搞定pandas(入门教程)

l HDF5,参考:HDFStores

1、 写入HDF5存储:

十分钟搞定pandas(入门教程)

2、 从HDF5存储中读取:

十分钟搞定pandas(入门教程)

l Excel,参考:MSExcel

1、 写入excel文件:

十分钟搞定pandas(入门教程)

2、 从excel文件中读取:

十分钟搞定pandas(入门教程)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python计算牛顿迭代多项式实例分析
May 07 Python
Python中splitlines()方法的使用简介
May 20 Python
Python在线运行代码助手
Jul 15 Python
python验证码识别教程之利用滴水算法分割图片
Jun 05 Python
vue.js实现输入框输入值内容实时响应变化示例
Jul 07 Python
对web.py设置favicon.ico的方法详解
Dec 04 Python
python直接获取API传递回来的参数方法
Dec 17 Python
Python对象转换为json的方法步骤
Apr 25 Python
详解Django模版中加载静态文件配置方法
Jul 21 Python
Python Tricks 使用 pywinrm 远程控制 Windows 主机的方法
Jul 21 Python
Python实现邮件发送的详细设置方法(遇到问题)
Jan 18 Python
Python pandas之求和运算和非空值个数统计
Aug 07 Python
pyqt5 QProgressBar清空进度条的实例
Jun 21 #Python
python实现Dijkstra算法的最短路径问题
Jun 21 #Python
解决pyinstaller打包发布后的exe文件打开控制台闪退的问题
Jun 21 #Python
pyqt5移动鼠标显示坐标的方法
Jun 21 #Python
python解析xml简单示例
Jun 21 #Python
对pyqt5中QTabWidget的相关操作详解
Jun 21 #Python
python实现得到当前登录用户信息的方法
Jun 21 #Python
You might like
php中ob_get_length缓冲与获取缓冲长度实例
2014/11/20 PHP
PHP使用正则表达式获取微博中的话题和对象名
2015/07/18 PHP
PHP页面跳转操作实例分析(header方法)
2016/09/28 PHP
php用户名的密码加密更安全的方法
2019/06/21 PHP
仅IE不支持setTimeout/setInterval函数的第三个以上参数
2011/05/25 Javascript
用jQuery与JSONP轻松解决跨域访问的问题
2014/02/04 Javascript
用循环或if语句从json中取数据示例
2014/08/18 Javascript
jquery mobile页面跳转后样式丢失js失效的解决方法
2014/09/06 Javascript
javascript 分号总结及详细介绍
2016/09/24 Javascript
js实现碰撞检测特效代码分享
2016/10/16 Javascript
ThinkPHP+jquery实现“加载更多”功能代码
2017/03/11 Javascript
手把手教你搭建ES6的开发运行环境
2017/07/11 Javascript
Vue中的ref作用详解(实现DOM的联动操作)
2017/08/21 Javascript
bootstrap Table服务端处理分页(后台是.net)
2017/10/19 Javascript
jQuery实现的简单歌词滚动功能示例
2019/01/07 jQuery
vue表单数据交互提交演示教程
2019/11/13 Javascript
基于jQuery拖拽事件的封装
2020/11/29 jQuery
[46:00]Ti4 冒泡赛第二轮LGD vs C9 2
2014/07/14 DOTA
下载糗事百科的内容_python版
2008/12/07 Python
python实现网页链接提取的方法分享
2014/02/25 Python
python中dir函数用法分析
2015/04/17 Python
python通过定义一个类实例作为ftp回调方法
2015/05/04 Python
python处理图片之PIL模块简单使用方法
2015/05/11 Python
异步任务队列Celery在Django中的使用方法
2018/06/07 Python
使用pandas批量处理矢量化字符串的实例讲解
2018/07/10 Python
pycharm 实现显示project 选项卡的方法
2019/01/17 Python
Python列表常见操作详解(获取,增加,删除,修改,排序等)
2019/02/18 Python
PyQt5多线程刷新界面防假死示例
2019/12/13 Python
LODI女鞋在线商店:阿利坎特的鞋类品牌
2019/02/15 全球购物
会计出纳员的自我评价
2014/01/15 职场文书
空中乘务员岗位职责
2014/03/08 职场文书
常务副县长“四风”个人对照检查材料思想汇报
2014/10/02 职场文书
离婚财产分隔协议书
2014/10/23 职场文书
优秀党员先进事迹材料
2014/12/18 职场文书
中班上学期个人总结
2015/02/12 职场文书
收入证明范本
2015/06/12 职场文书