十分钟搞定pandas(入门教程)


Posted in Python onJune 21, 2019

本文是对pandas官方网站上《10Minutes to pandas》的一个简单的翻译,原文在这里。这篇文章是对pandas的一个简单的介绍,详细的介绍请参考:Cookbook 。习惯上,我们会按下面格式引入所需要的包:

十分钟搞定pandas(入门教程)

一、创建对象

可以通过Data Structure Intro Setion 来查看有关该节内容的详细信息。

1、可以通过传递一个list对象来创建一个Series,pandas会默认创建整型索引:

十分钟搞定pandas(入门教程)

2、通过传递一个numpyarray,时间索引以及列标签来创建一个DataFrame:

十分钟搞定pandas(入门教程)

3、通过传递一个能够被转换成类似序列结构的字典对象来创建一个DataFrame:

十分钟搞定pandas(入门教程)

4、查看不同列的数据类型:

十分钟搞定pandas(入门教程)

5、如果你使用的是IPython,使用Tab自动补全功能会自动识别所有的属性以及自定义的列,下图中是所有能够被自动识别的属性的一个子集:

十分钟搞定pandas(入门教程)

二、查看数据

详情请参阅:Basics Section

1、 查看frame中头部和尾部的行:

十分钟搞定pandas(入门教程)

2、 显示索引、列和底层的numpy数据:

十分钟搞定pandas(入门教程)

3、 describe()函数对于数据的快速统计汇总:

十分钟搞定pandas(入门教程)

4、 对数据的转置:

十分钟搞定pandas(入门教程)

5、 按轴进行排序

十分钟搞定pandas(入门教程)

6、 按值进行排序

十分钟搞定pandas(入门教程)

三、选择

虽然标准的Python/Numpy的选择和设置表达式都能够直接派上用场,但是作为工程使用的代码,我们推荐使用经过优化的pandas数据访问方式: .at,.iat,.loc,.iloc和.ix详情请参阅Indexingand Selecing Data 和 MultiIndex/ Advanced Indexing。

l 获取

1、 选择一个单独的列,这将会返回一个Series,等同于df.A:

十分钟搞定pandas(入门教程)

2、 通过[]进行选择,这将会对行进行切片

十分钟搞定pandas(入门教程)

l 通过标签选择

1、 使用标签来获取一个交叉的区域

十分钟搞定pandas(入门教程)

2、 通过标签来在多个轴上进行选择

十分钟搞定pandas(入门教程)

3、 标签切片

十分钟搞定pandas(入门教程)

4、 对于返回的对象进行维度缩减

十分钟搞定pandas(入门教程)

5、 获取一个标量

十分钟搞定pandas(入门教程)

6、 快速访问一个标量(与上一个方法等价)

十分钟搞定pandas(入门教程)

l 通过位置选择

1、 通过传递数值进行位置选择(选择的是行)

十分钟搞定pandas(入门教程)

2、 通过数值进行切片,与numpy/python中的情况类似

十分钟搞定pandas(入门教程)

3、 通过指定一个位置的列表,与numpy/python中的情况类似

十分钟搞定pandas(入门教程)

4、 对行进行切片

十分钟搞定pandas(入门教程)

5、 对列进行切片

十分钟搞定pandas(入门教程)

6、 获取特定的值

十分钟搞定pandas(入门教程)

l 布尔索引

1、 使用一个单独列的值来选择数据:

十分钟搞定pandas(入门教程)

2、 使用where操作来选择数据:

十分钟搞定pandas(入门教程)

3、 使用isin()方法来过滤:

十分钟搞定pandas(入门教程)

l 设置

1、 设置一个新的列:

十分钟搞定pandas(入门教程)

2、 通过标签设置新的值:

十分钟搞定pandas(入门教程)

3、 通过位置设置新的值:

十分钟搞定pandas(入门教程)

4、 通过一个numpy数组设置一组新值:

十分钟搞定pandas(入门教程)

上述操作结果如下:

十分钟搞定pandas(入门教程)

5、 通过where操作来设置新的值:

十分钟搞定pandas(入门教程)

四、缺失值处理

在pandas中,使用np.nan来代替缺失值,这些值将默认不会包含在计算中,详情请参阅:Missing Data Section。

1、 reindex()方法可以对指定轴上的索引进行改变/增加/删除操作,这将返回原始数据的一个拷贝:、

十分钟搞定pandas(入门教程)

2、 去掉包含缺失值的行:

十分钟搞定pandas(入门教程)

3、 对缺失值进行填充:

十分钟搞定pandas(入门教程)

4、 对数据进行布尔填充:

十分钟搞定pandas(入门教程)

五、相关操作

详情请参与Basic Section On Binary Ops

l 统计(相关操作通常情况下不包括缺失值)

1、 执行描述性统计:

十分钟搞定pandas(入门教程)

2、 在其他轴上进行相同的操作:

十分钟搞定pandas(入门教程)

3、 对于拥有不同维度,需要对齐的对象进行操作。Pandas会自动的沿着指定的维度进行广播:

十分钟搞定pandas(入门教程)

l Apply

1、 对数据应用函数:

十分钟搞定pandas(入门教程)

l 直方图

具体请参照:Histogrammingand Discretization

十分钟搞定pandas(入门教程)

l 字符串方法

Series对象在其str属性中配备了一组字符串处理方法,可以很容易的应用到数组中的每个元素,如下段代码所示。更多详情请参考:Vectorized String Methods.

十分钟搞定pandas(入门教程)

六、合并

Pandas提供了大量的方法能够轻松的对Series,DataFrame和Panel对象进行各种符合各种逻辑关系的合并操作。具体请参阅:Mergingsection

l Concat

十分钟搞定pandas(入门教程)

l Join 类似于SQL类型的合并,具体请参阅:Databasestyle joining

十分钟搞定pandas(入门教程)

l Append 将一行连接到一个DataFrame上,具体请参阅Appending

十分钟搞定pandas(入门教程)

七、分组

对于”group by”操作,我们通常是指以下一个或多个操作步骤:

l (Splitting)按照一些规则将数据分为不同的组;

l (Applying)对于每组数据分别执行一个函数;

l (Combining)将结果组合到一个数据结构中;

详情请参阅:Groupingsection

十分钟搞定pandas(入门教程)

1、 分组并对每个分组执行sum函数:

十分钟搞定pandas(入门教程)

2、 通过多个列进行分组形成一个层次索引,然后执行函数:

十分钟搞定pandas(入门教程)

八、Reshaping

详情请参阅HierarchicalIndexingReshaping

l Stack

十分钟搞定pandas(入门教程)

十分钟搞定pandas(入门教程)

十分钟搞定pandas(入门教程)

l 数据透视表,详情请参阅:PivotTables.

十分钟搞定pandas(入门教程)

可以从这个数据中轻松的生成数据透视表:

十分钟搞定pandas(入门教程)

九、时间序列

Pandas在对频率转换进行重新采样时拥有简单、强大且高效的功能(如将按秒采样的数据转换为按5分钟为单位进行采样的数据)。这种操作在金融领域非常常见。具体参考:TimeSeries section

十分钟搞定pandas(入门教程)

1、 时区表示:

十分钟搞定pandas(入门教程)

2、 时区转换:

十分钟搞定pandas(入门教程)

3、 时间跨度转换:

十分钟搞定pandas(入门教程)

4、 时期和时间戳之间的转换使得可以使用一些方便的算术函数。

十分钟搞定pandas(入门教程)

十、Categorical

从0.15版本开始,pandas可以在DataFrame中支持Categorical类型的数据,详细介绍参看:categoricalintroductionAPIdocumentation

十分钟搞定pandas(入门教程)

1、 将原始的grade转换为Categorical数据类型:

十分钟搞定pandas(入门教程)

2、 将Categorical类型数据重命名为更有意义的名称:

十分钟搞定pandas(入门教程)

3、 对类别进行重新排序,增加缺失的类别:

十分钟搞定pandas(入门教程)

4、 排序是按照Categorical的顺序进行的而不是按照字典顺序进行:

十分钟搞定pandas(入门教程)

5、 对Categorical列进行排序时存在空的类别:

十分钟搞定pandas(入门教程)

十一、画图

具体文档参看:Plottingdocs

十分钟搞定pandas(入门教程)

对于DataFrame来说,plot是一种将所有列及其标签进行绘制的简便方法:

十分钟搞定pandas(入门教程)

十分钟搞定pandas(入门教程)

十二、导入和保存数据

l CSV,参考:Writingto a csv file

1、 写入csv文件:

十分钟搞定pandas(入门教程)

2、 从csv文件中读取:

十分钟搞定pandas(入门教程)

l HDF5,参考:HDFStores

1、 写入HDF5存储:

十分钟搞定pandas(入门教程)

2、 从HDF5存储中读取:

十分钟搞定pandas(入门教程)

l Excel,参考:MSExcel

1、 写入excel文件:

十分钟搞定pandas(入门教程)

2、 从excel文件中读取:

十分钟搞定pandas(入门教程)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python 稀疏矩阵-sparse 存储和转换
May 27 Python
Python实现的寻找前5个默尼森数算法示例
Mar 25 Python
kafka-python批量发送数据的实例
Dec 27 Python
使用Python 统计高频字数的方法
Jan 31 Python
django之使用celery-把耗时程序放到celery里面执行的方法
Jul 12 Python
python BlockingScheduler定时任务及其他方式的实现
Sep 19 Python
Python线程指南分享
Nov 19 Python
tensorflow模型继续训练 fineturn实例
Jan 21 Python
解决TensorFlow模型恢复报错的问题
Feb 06 Python
Python3以GitHub为例来实现模拟登录和爬取的实例讲解
Jul 30 Python
python 算法题——快乐数的多种解法
May 27 Python
Python实现学生管理系统并生成exe可执行文件详解流程
Jan 22 Python
pyqt5 QProgressBar清空进度条的实例
Jun 21 #Python
python实现Dijkstra算法的最短路径问题
Jun 21 #Python
解决pyinstaller打包发布后的exe文件打开控制台闪退的问题
Jun 21 #Python
pyqt5移动鼠标显示坐标的方法
Jun 21 #Python
python解析xml简单示例
Jun 21 #Python
对pyqt5中QTabWidget的相关操作详解
Jun 21 #Python
python实现得到当前登录用户信息的方法
Jun 21 #Python
You might like
php垃圾代码优化操作代码
2010/08/05 PHP
ThinkPHP3.1查询语言详解
2014/06/19 PHP
laravel5.1框架基础之Blade模板继承简单使用方法分析
2019/09/05 PHP
laravel-admin自动生成模块,及相关基础配置方法
2019/10/08 PHP
javascript操作cookie_获取与修改代码
2009/05/21 Javascript
jQuery Trim去除字符串首尾空字符的实现方法说明
2014/02/11 Javascript
微信小程序 页面传参实例详解
2016/11/16 Javascript
Bootstrap jquery.twbsPagination.js动态页码分页实例代码
2017/02/20 Javascript
利用Javascript裁剪图片并存储的简单实现
2017/03/13 Javascript
Three.js利用性能插件stats实现性能监听的方法
2017/09/25 Javascript
Node.js利用断言模块assert进行单元测试的方法
2017/09/28 Javascript
JS去掉字符串中所有的逗号
2017/10/18 Javascript
js将当前时间格式化为 年-月-日 时:分:秒的实现代码
2018/01/20 Javascript
JS将网址url转化为JSON格式的方法
2018/07/02 Javascript
详解Vue组件之作用域插槽
2018/11/22 Javascript
细述Javascript的加法运算符的具体使用
2019/10/18 Javascript
vue-preview动态获取图片宽高并增加旋转功能的实现
2020/07/29 Javascript
javascript canvas实现简易时钟例子
2020/09/05 Javascript
javascript实现搜索筛选功能实例代码
2020/11/12 Javascript
[03:49]DOTA2英雄基础教程 光之守卫
2014/01/14 DOTA
初步解析Python下的多进程编程
2015/04/28 Python
Python面向对象class类属性及子类用法分析
2018/02/02 Python
OpenCV+face++实现实时人脸识别解锁功能
2019/08/28 Python
python字符串的拼接方法总结
2019/11/18 Python
python django中8000端口被占用的解决
2019/12/17 Python
python 字段拆分详解
2019/12/17 Python
不同浏览器对CSS3和HTML5的支持状况
2009/10/31 HTML / CSS
Mamas & Papas沙特阿拉伯:英国最受欢迎的婴儿品牌
2017/11/20 全球购物
施华洛世奇日本官网:SWAROVSKI日本
2018/05/04 全球购物
墨西哥购物网站:Elektra
2020/01/21 全球购物
毕业生求职的求职信
2013/12/05 职场文书
井冈山红色之旅感想
2014/10/07 职场文书
2014党的群众路线教育实践活动总结报告
2014/10/31 职场文书
英语感谢信范文
2015/01/20 职场文书
导游词之张家口
2019/12/13 职场文书
一文弄懂MySQL索引创建原则
2022/02/28 MySQL